《崔庆才Python3网络爬虫开发实战教程》学习笔记（2）：常用库函数的安装与配置

本篇博文是自己在学习崔庆才的《Python3网络爬虫开发实战教程》的学习笔记系列，如果你也要这套视频教程的话，关注我公众号【小众技术】，关注后回复【PYTHON】，无套路免费送你一个学习大礼包，包括爬虫视频和电子书~

------------------------------------------------------------------华丽分割线----------------------------------------------------------------------------------------------------

python的一大优势就是库函数极其丰富，网络爬虫工具的开发使用也是借助于这一优势来完成的。那么要想用Python3做网络爬虫的开发需要那些库函数的支持呢？

与网络爬虫开发相关的库大约有6种，分别为：

 

1. 请求库：requests，selenium，ChromeDriver，PhantomJS，aiohttp
2. 解析库：lxml，BeautifulSoup，pyqwery，tesserocr
3. 数据库：Mysql，MongoDB，Redis
4. 存储库：PyMySQL，PyMongo，redis-py，RedisDump
5. Web库：Flask，Tornado
6. APP爬取相关库：Charles，mitmproxy，APPium

接下来我就将崔庆才在Python3网络爬虫实战案例视频教程里提到所有库函数整理如下，顺便说一下，如果你也要这套视频教程的话，加我WX吧：reborn0502，然后我私信给你百度云链接，公然放出来不太好~

 

1.urllib与re

urllib库提供了一系列可供用户操控URL的功能。re则是使用正则表达式而必须安装的库。这两个库是python自带的，无需额外安装。直接import urllib,re使用即可。

 

2.requests

这个库是做请求时常用的一个库。安装方式为：pip install requests

 

3.selenium

这是一个驱动浏览器的库，主要是用来做自动化测试。我们在做爬虫的时候，会遇到一些JS渲染的网页，遇到这种网页的时候仅仅用requests库是无法获取真实的网页内容。这时我们就需要用selenium库将网页的JS内容渲染出来，再进行抓取。

利用它我们还可以用带来操控浏览器，完成一些我们用鼠标和键盘才能完成的点击，输入等操作。安装方式为：pip install selenium。

 

4.phantomjs

这个库与selenium有着相同的功能，只不过phantomjs没有界面，可以说是一个无界面浏览器。它会在后台静默地运行，看不到任何输出。安装方式比较特殊，不是用pip工具，而是去官网下载程序包。下载地址是：http://phantomjs.org/download.html

 

下载完成并解压之后，将文件夹放入python的安装目录，然后将bin目录下的phantomjs.exe的路径放入Path环境变量即可。

 

5.lxml

这个库提供了Xpath的解析方式，xpath是一种非常高效的网页解析方式。安装方式：pip install lxml。

 

6.beautifulsoup

这个也是一个网页解析库，使用起来也是非常的方便，同时它是依赖于lxml的。记得使用beautifulsoup之前安装好lxml库。安装方式：pip install beautifulsoup4记得在后面加上“4”！

 

7.pyquery

这依然是一个网页解析库，它的语法和jquery是完全一致的，如果你有web开发经验并且使用过jquery的化，用pyquery来解析网页会非常上手！安装方式：pip install pyquery

 

8.pymysql

这是一个存储库，可以用来操作MySQL数据库，用来数据存储。安装方式：pip install pymysql

 

9.pymongo

这是也是一个存储库，可以用来操作MongoDB数据库，用来数据存储。安装方式：pip install pymongo

 

 

10.redis

这是也是一个存储库，可以用来操作redis数据库，用来数据存储。这个数据库用于分布式爬虫的使用。安装方式：pip install redis

 

11.flask

这是一个web库，做代理的时候会用到这个库，当我们设置一个web服务器的时候，用它来设置一些代理的获取和存储之类的接口。安装方式：pip install flask。

 

12.jango

这是一个web服务器框架，它提供了一个完整的后台管理和一些模板，接口，路由之类的功能。我们可以用jango来做一些网站。当我们做分布式爬虫维护的时候，会用到jango的库。做一个管理系统，管理分布式爬虫的主机信息。安装方式：pip install jango

 

13.jupyter

这是一个记事本，功能比较强大，运行在网页端，可以在进行代码的编写和运行。也支持markdown的编辑模式。安装方式：pip install jupyter。

安装完成之后，打开cmd窗口（无需进入python），输入jupyter notebook即可使用这个笔记本。