'''
python selenium geckodriver 实现可以执行js的网页爬虫
'''
from selenium import webdriver
import time
#要爬取的网页地址
url="http://bzflh.szjs.gov.cn/TylhW/lhmcAction.do?method=queryYgbLhmcInfo&waittype=2"
#geckodriver存放的位置 geckodriver其实就是一种Firefox浏览器驱动
executable_path=r"D:\Python36\Scripts\geckodriver.exe"
#设置浏览器模式为headless 这样就是不可见模式
fireFoxOptions = webdriver.FirefoxOptions()
fireFoxOptions.set_headless()
browser = webdriver.Firefox(firefox_options=fireFoxOptions,executable_path=executable_path)
#要在网页中执行的js代码
js='''
$('#cusTable').bootstrapTable('destroy');
$('#cusTable').bootstrapTable({
method: "POST", //使用get请求到服务器获取数据
url: "/TylhW/lhmcAction.do?method=queryYgbLhmcList", //获取数据的Servlet地址
contentType:"application/x-www-form-urlencoded",//必须
pagination: fals
python selenium Firefox geckodriver 实现运行js的网页内容爬取
最新推荐文章于 2023-07-25 14:46:17 发布
本文介绍了如何利用Python的selenium库和Firefox浏览器的geckodriver,执行JavaScript来爬取网页上的动态内容。通过结合selenium与geckodriver,可以应对那些依赖JavaScript加载的数据抓取需求。
摘要由CSDN通过智能技术生成