今天学到一个有意思的插件,就是chromedriver,在爬虫的时候,如果网站反爬虫做的很好,自己又很想爬去里面的数据,那就可以用这个插件,虽然笨笨的,慢的一批,但是还有别的办法就不会用他啦,
这个东东主要是完全模拟浏览器点击页面,一步一步去找你要的东西,就跟个机器一样,不停的去执行命令
进入正题
你要确保自己有谷歌浏览器,要知道版本号,找到对应的chromedriver版本号,还要有selenium模块
使用:
直接使用pip安装
1 pip install selenium
用 Chrome 浏览器来测试
1 from selenium import webdriver
2
3 browser = webdriver.Chrome()
4 browser.get('http://www.baidu.com/')
运行这段代码,会自动打开浏览器,然后访问百度。
如果程序执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动,然后将驱动文件路径配置在环境变量即可。
首先你需要一张对照表
chromedriver版本支持的Chrome版本
v2.41
v67-69
v2.40
v66-68
v2.39
v66-68
v2.38
v65-67
v2.37
v64-66
v2.36
v63-65
v2.35
v62-64
v2.34
v61-63
v2.33
v60-62
v2.32
v59-61
v2.31
v58-60
v2.30
v58-60
v2.29
v56-58
v2.28
v55-57
v2.27
v54-56
v2.26
v53-55
v2.25
v53-55
v2.24
v52-54
v2.23
v51-53
v2.22
v49-52
v2.21
v46-50
v2.20
v43-48
v2.19
v43-47
v2.18
v43-46
v2.17
v42-43
v2.13
v42-45
v2.15
v40-43
v2.14
v39-42
v2.13
v38-41
v2.12
v36-40
v2.11
v36-40
v2.10
v33-36
v2.9
v31-34
v2.8
v30-33
v2.7
v30-33
v2.6
v29-32
v2.5
v29-32
v2.4
v29-32
linux 安装
chromedriver:
将下载的文件移动到软件应该呆的目录去:
sudo mv chromedriver /usr/local/bin/chromedriver
改变用户执行的权限:
sudo chmod u+x,o+x /usr/local/bin/chromedriver
检验是否正常使用:
chromedriver --version
展示如下就是成功啦,linux 安装还是很简单的,用起来也方便,入文章开头运行下,就知道啦
window安装
下载后将文件解压到python安装路径下的/Script目录下,该文件是一个.exe的文件,Script目录必须配置为系统的环境变量
如果再不会,百度上太多啦,我就不赘述了
之后会自己用一用,感觉挺好玩 的