python selenium Firefox geckodriver 实现运行js的网页内容爬取

'''
	python selenium geckodriver 实现可以执行js的网页爬虫
'''

from selenium import webdriver
import time

#要爬取的网页地址
url="http://bzflh.szjs.gov.cn/TylhW/lhmcAction.do?method=queryYgbLhmcInfo&waittype=2"

#geckodriver存放的位置 geckodriver其实就是一种Firefox浏览器驱动
executable_path=r"D:\Python36\Scripts\geckodriver.exe"

#设置浏览器模式为headless 这样就是不可见模式
fireFoxOptions = webdriver.FirefoxOptions()
fireFoxOptions.set_headless()
browser = webdriver.Firefox(firefox_options=fireFoxOptions,executable_path=executable_path)

#要在网页中执行的js代码
js='''
$('#cusTable').bootstrapTable('destroy');
$('#cusTable').bootstrapTable({
            method: "POST",  //使用get请求到服务器获取数据
            url: "/TylhW/lhmcAction.do?method=queryYgbLhmcList", //获取数据的Servlet地址
            contentType:"application/x-www-form-urlencoded",//必须
            pagination: fals