在scrapy中的应用
1 、chrome_driver = r"C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe" # 确定浏览器的相关地址
2、driver = webdriver.Chrome(executable_path=chrome_driver) # 封装浏览器信息) # 指定使用的浏览器,
3、driver.set_page_load_timeout(5) # 设置超时时间
4、driver.get(response.url) ##使用浏览器请求页面
5、time.sleep(3) # 加载3秒,等待所有数据加载完毕
6、content = driver.page_source #爬取网页源码
7、hre = etree.HTML(content) # 网页源码转换编码