selenium的相关应用

在scrapy中的应用

		1 、chrome_driver = r"C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe"  # 确定浏览器的相关地址 
		2、driver = webdriver.Chrome(executable_path=chrome_driver)  # 封装浏览器信息) # 指定使用的浏览器,
 		3、driver.set_page_load_timeout(5)  # 设置超时时间
        4、driver.get(response.url)  ##使用浏览器请求页面
        5、time.sleep(3)  # 加载3秒，等待所有数据加载完毕
        6、content = driver.page_source #爬取网页源码
        7、hre = etree.HTML(content)  # 网页源码转换编码