【python3爬虫学习笔记】一、爬虫开发环境配置（一）

注：在windows系统中进行安装

一、Python3的安装

略

---

二、请求库的安装

爬虫可以分为：抓取页面、分析页面和存储数据，三大部分。在抓取过程中、需要一些python库对服务器发出请求，我们主要使用的库有：requests、Selenium和aiohttp等。

1、requests的安装：

打开命令行、运用pip进行安装，在命令行键入:

pip3 install requests

然后执行，出现以下界面，表示requests安装成功：

下面的两行黄色字体、提示我们可以更新一下pip ，那我们正好更新以下吧。继续在cmd键入：

python -m pip install --upgrade pip

然后执行，出现以下提示，表示更新成功：

注：可以不进行更新操作。

2、selenium库的安装：

在cmd键入：

pip3 install selenium

 如果出现：Successfully install…………则表示安装成功、此处少一张截图。

我们已经安装好了selenium库、它是一个自动化测试工具，需要配合浏览器使用，以下是配置Firefox浏览器及GeckoDriver的安装：

首先要下载FireFox（火狐）浏览器、百度就可以找到。点我直达。

然后需要下载GeckoDriver驱动、点我直达下载链接。当前最新版本是V0.24.0我们就下载最新版的就可以。

下载完成之后、我们解压缩然后把里面的geckodriver.exe文件拖到Python的Scripts目录下。

如果找不到Python文件夹，我们可以在cmd键入：

where python

然后、就知道python在哪里了、是不是很方便。

配置完成之后、我们可以在程序中测试一下，看是否安装成功。

我们敲一下代码：

from selenium import webdriver
browser = webdriver.Firefox()

如果运行成功，会弹出一个什么都没有的浏览器页面。

以下是配置Chrome浏览器ChromeDriver驱动方法：

首先下载：Chrome浏览器，点我直达。我们下载后的浏览器会发现是连不上网的、关于怎么联网的方法、请读者自行百度。

然后查看一下Chrome的版本号、下载相应的ChromeDriver驱动。

参考链接(这里可以看到相应版本对应的驱动):https://blog.csdn.net/yoyocat915/article/details/80580066

点我直达ChoremDriver下载链接。

具体配置方法、与GreckoDriver配置雷同。

但是这样做的缺陷就是，我们在爬虫过程中，浏览器必须一直开着、在爬取网页的时候会一直动来动去。所以我们可以安装一个无界面浏览器PhantomJS，这样在爬虫过程中就不会出现大量弹窗了。

PhantomJS下载链接直达。

 下载完成之后、解压压缩包、然后打开bin文件夹，里面有个exe程序、把它复制到python.exe那一层。

这样就算配置完成了、我们可以在cmd里面运行一下，键入：

phantomjs --version

 如果出现以下界面、则表示配置成功。

 3、aiohttp的安装

aiohttp库是一个提供异步web的库，这回使写法更加简洁、架构更加清晰。也会大大提高效率。

我们使用pip进行安装，在cmd键入：

pip3 install aiohttp

 若出现以下界面、表示安装成功。

---

三、解析库的安装

抓取代码之后、下一步就是对网页中提取信息。这里有许多强大的解析库，如lxml、Beautiful Soup、pyquery等，此外还提供了非常强大的解析方法、利用他们，我们可以更加高效便捷的提取有效信息。

1、lxml的安装

用pip进行安装、在cmd中键入：

pip3 install lxml

如果出现以下部分，代表安装成功：

2、 Beatuiful Soup的安装

用pip进行安装、在cmd中键入：

pip3 install beautifulsoup4

 如果出现以下部分，代表安装成功：

3、pyquery的安装

用pip进行安装、在cmd中键入：

pip3 install pyquery

如果出现以下部分，代表安装成功：

4、tesserocr的安装 （未解决）

在爬虫的过程中、难免遇到各种各样的验证码、而大多数验证码我们可以用OCR进行识别。

点我直达下载链接。

我们要下载的是这个、然后安装一下，遇到的选项全选。安装完成之后在pip下进行安装，在cmd键入:

pip3 install tesserocr pillow

这样做后面会报错的很惨！！不过目前未解决，读者请不要安装。