chromedriver下载网址
http://npm.taobao.org/mirrors/chromedriver/
查看自己的浏览器版本,下载对应的内核,
解压之后放在C:\Program Files (x86)\Google\Chrome\Application目录下
添加环境变量:
C:\Program Files (x86)\Google\Chrome\Application;
下载selenium模块
pip install selenium
使用selenium加载网页
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
class Spider(object):
chrome_options = Options()
chrome_options.add_argument(’–no-sandbox’) # 解决DevToolsActivePort文件不存在的报错
chrome_options.add_argument(‘window-size=1920x3000’) # 指定浏览器分辨率
chrome_options.add_argument(’–disable-gpu’) # 谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument(’–hide-scrollbars’) # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument(‘blink-settings=imagesEnabled=false’) # 不加载图片, 提升速度
# chrome_options.add_argument('--headless') # 浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
def __init__(self):
# executable_path = self.driver_path
self.driver = webdriver.Chrome(chrome_options=self.chrome_options)
self.list_url = "https://www.baidu.com/"
def run(self):
self.driver.get(self.list_url)
if name == ‘main’:
spider = Spider()
spider.run()