Python爬虫常用库的安装

Requests库的安装：

1 pip3 install requests

 Selenium的安装：

1 pip3 install selenium

Chrome浏览器的安装：

Mac版下载地址
链接: https://pan.baidu.com/s/1pvL6t5V_kOwxBJGGxbPfxA 密码: 7q13

ChromeDriver当安装：

Mac版下载地址

链接: https://pan.baidu.com/s/1bDVZRv-lPpBk08vSk5_gwQ 密码: amxn

只有安装ChromeDriver，才能驱动Chrome浏览器完成相应的操作。下面我们来介绍下怎样安装ChromeDriver。

确保已经正确安装好了Chrome浏览器并可以正常运行，点击Chrome菜单“帮助”→“关于Google Chrome”，即可查看Chrome的版本号。请记住Chrome版本号，因为选择ChromeDriver版本时需要用到。找好对应的版本号后，随后到ChromeDriver镜像站下载对应的安装包即可：https://chromedriver.storage.googleapis.com/index.html。

要仔细看一下，打开LATEST. RELEASE.，里面就是对应最新版本号，这个文件看一下。

打开对应的包，请打开下面的notes.txt. ，可查看对应版本。

在Linux和Mac下，需要将可执行文件配置到环境变量或将文件移动到属于环境变量的目录里。

要移动文件到/usr/bin目录。首先，需要在命令行模式下进入其所在路径，然后将其移动到/usr/bin：

1 sudo mv chromedriver /bin/chromedriver

Mac拷贝到usr/bin下，很难成功，我尝试直接粘贴，用命令拷贝等，都不行。最后发现拷贝到：/usr/local/bin/，就可以用了。简单可行。

 用命令行：sudo mv chromedriver /bin/chromedriver

1 open /usr/local/bin/

配置完成后，就可以在命令行下直接执行chromedriver命令了：

1 chromedriver

如果输入控制台有chromedriver的输出，则证明ChromeDriver的环境变量配置好了。

随后再在程序中测试，执行如下Python代码：

1 from selenium import webdriver
2 browser = webdriver.Chrome()

运行之后，如果弹出一个空白的Chrome浏览器，则证明所有的配置都没有问题。如果没有弹出，请检查之前的每一步配置。

如果弹出后闪退，则可能是ChromeDriver版本和Chrome版本不兼容，请更换ChromeDriver版本。

如果没有问题，接下来就可以利用Chrome来做网页抓取了。

 

 

转载于:https://www.cnblogs.com/wanglinjie/p/9103116.html