爬虫自学笔记02：安装第三方库报错及解决

一、对“爬虫”的理解
我们访问某个网页时，网页上可能会有图像、视频、音频等资源，爬虫技术就是通过程序来模拟访问网页并获取这些资源，获取到的这些资源可以作为进行大数据分析的数据，而大数据分析技术可以根据历史数据对某种现象进行预测。但是现在使用爬虫有违法风险，必须谨慎有度，否则可能会看守所七日游。

二、爬虫相关的第三方库
1、requests库：进行网络请求；
2、selenium库：自动化测试工具，模拟执行浏览器特定动作；
3、aiohttp库：提供异步web服务，使用异步请求抓取数据时会提高效率；
4、下载PhantomJS必须学会科学上网，下载完后发现报错：Selenium support for PhantomJS has been deprecated，也就是说PhantomJS已经被淘汰了，所以采用Selenium+Headless Chrome；
5、坑爹的是，在安装某些库的时候，由于“墙”的缘故，速度太慢安装不成功或者报错：ERROR: Could not find a version that satisfies the requirement aiohttp (from versions: none)，ERROR: No matching distribution found for aiohttp，这时需要将pip更换为国内安装源，推荐阿里云http://mirrors.aliyun.com/pypi/simple/ ，临时使用方法：pip install 库名 -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com;

三、安装解析库
1、作用：解析库提供从网页中提取信息的方法；
2、lxml库：支持HTML和XML的解析，支持XPath解析方式，解析效率高；
3、Beautiful Soup库：拥有强大的API和多种解析方式，可以从网页中提取数据；
4、pyquery库：提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器；
5、tesserocr库：OCR识别库，用来识别网页中的图形验证码，将其转化为文本格式，将识别文本提交给服务器，从而实现自动识别验证码；