注:在windows系统中进行安装
一、Python3的安装
略
二、请求库的安装
爬虫可以分为:抓取页面、分析页面和存储数据,三大部分。在抓取过程中、需要一些python库对服务器发出请求,我们主要使用的库有:requests、Selenium和aiohttp等。
1、requests的安装:
打开命令行、运用pip进行安装,在命令行键入:
pip3 install requests
然后执行,出现以下界面,表示requests安装成功:
下面的两行黄色字体、提示我们可以更新一下pip ,那我们正好更新以下吧。继续在cmd键入:
python -m pip install --upgrade pip
然后执行,出现以下提示,表示更新成功:
注:可以不进行更新操作。
2、selenium库的安装:
在cmd键入:
pip3 install selenium
如果出现:Successfully install…………则表示安装成功、此处少一张截图。
我们已经安装好了selenium库、它是一个自动化测试工具,需要配合浏览器使用,以下是配置Firefox浏览器及GeckoDriver的安装:
首先要下载FireFox(火狐)浏览器、百度就可以找到。点我直达。
然后需要下载GeckoDriver驱动、点我直达下载链接。当前最新版本是V0.24.0我们就下载最新版的就可以。
下载完成之后、我们解压缩然后把里面的geckodriver.exe文件拖到Python的Scripts目录下。
如果找不到Python文件夹,我们可以在cmd键入:
where python
然后、就知道python在哪里了、是不是很方便。
配置完成之后、我们可以在程序中测试一下,看是否安装成功。
我们敲一下代码:
from selenium import webdriver
browser = webdriver.Firefox()
如果运行成功,会弹出一个什么都没有的浏览器页面。
以下是配置Chrome浏览器ChromeDriver驱动方法:
首先下载:Chrome浏览器,点我直达。我们下载后的浏览器会发现是连不上网的、关于怎么联网的方法、请读者自行百度。
然后查看一下Chrome的版本号、下载相应的ChromeDriver驱动。
参考链接(这里可以看到相应版本对应的驱动):https://blog.csdn.net/yoyocat915/article/details/80580066
具体配置方法、与GreckoDriver配置雷同。
但是这样做的缺陷就是,我们在爬虫过程中,浏览器必须一直开着、在爬取网页的时候会一直动来动去。所以我们可以安装一个无界面浏览器PhantomJS,这样在爬虫过程中就不会出现大量弹窗了。
PhantomJS下载链接直达。
下载完成之后、解压压缩包、然后打开bin文件夹,里面有个exe程序、把它复制到python.exe那一层。
这样就算配置完成了、我们可以在cmd里面运行一下,键入:
phantomjs --version
如果出现以下界面、则表示配置成功。
3、aiohttp的安装
aiohttp库是一个提供异步web的库,这回使写法更加简洁、架构更加清晰。也会大大提高效率。
我们使用pip进行安装,在cmd键入:
pip3 install aiohttp
若出现以下界面、表示安装成功。
三、解析库的安装
抓取代码之后、下一步就是对网页中提取信息。这里有许多强大的解析库,如lxml、Beautiful Soup、pyquery等,此外还提供了非常强大的解析方法、利用他们,我们可以更加高效便捷的提取有效信息。
1、lxml的安装
用pip进行安装、在cmd中键入:
pip3 install lxml
如果出现以下部分,代表安装成功:
2、 Beatuiful Soup的安装
用pip进行安装、在cmd中键入:
pip3 install beautifulsoup4
如果出现以下部分,代表安装成功:
3、pyquery的安装
用pip进行安装、在cmd中键入:
pip3 install pyquery
如果出现以下部分,代表安装成功:
4、tesserocr的安装 (未解决)
在爬虫的过程中、难免遇到各种各样的验证码、而大多数验证码我们可以用OCR进行识别。
我们要下载的是这个、然后安装一下,遇到的选项全选。安装完成之后在pip下进行安装,在cmd键入:
pip3 install tesserocr pillow
这样做后面会报错的很惨!!不过目前未解决,读者请不要安装。