python项目归纳总结-【第108期】总结最近项目中常用的几个Python库

听着音乐 补充知识

各位读者还好吗 ？ 好久不见，最近因为公司和一些私事原因没能及时发布新的技术文章，不过今天又崭新满满的回来了，还会继续发一些自己的想法和关于技术的内容文章给大家，也算是对自己做过和研究过的知识点做一个总结和回顾。

urlib

我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：

第一个模块 request，它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 还有额外的参数，就可以模拟实现这个过程了。

第二个 error 模块即异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。

第三个 parse 模块是一个工具模块，提供了许多 URL 处理方法，比如拆分、解析、合并等等的方法。

第四个模块是 robotparser，主要是用来识别网站的 robots.txt 文件，然后判断哪些网站可以爬，哪些网站不可以爬的，其实用的比较少。

在这里重点对前三个模块进行下讲解。

一、发送请求

使用 Urllib 的 request 模块我们可以方便地实现 Request 的发送并得到 Response

1、urlopen()

urllib.request 模块提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理authenticaton（授权验证），redirections（重定向)，cookies（浏览器Cookies）以及其它内容。

我们来感受一下它的强大之处，以 Python 官网为例，我们来把这个网页抓下来：

import urllib.request

response = urllib.request.urlopen('https://www.python.org')print(response.read().decode('utf-8'))

socket

第一个是 Socket，它提供了标准的 BSD Sockets API。

第二个是 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。

下面直接来socket的编程思路：

TCP服务端：

1 创建套接字，绑定套接字到本地IP与端口

# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.bind()

2 开始监听连接 #s.listen()

3 进入循环，不断接受客户端的连接请求 #s.accept()

4 然后接收传来的数据，并发送给对方数据 #s.recv() , s.sendall()

5 传输完毕后，关闭套接字 #s.close()

TCP客户端:

1 创建套接字，连接远端地址

# socket.socket(socket.AF_INET,socket.SOCK_STREAM) , s.connect()

2 连接后发送数据和接收数据 # s.sendall(), s.recv()

3 传输完毕后，关闭套接字 #s.close()

Cola

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。

由于Cola配置文件使用的yaml，所以Cola只依赖于pyyaml，安装easy_install或者pip工具后，则可以：

pip install pyyaml

接下来挖掘一下它的集群模式也是架构体系：

点亮在看，你最好看

学习不断