2020-11-19

爬虫python
请求发送: 确定需要爬取数据的目标url以及发送请求(request)时所需要携带的数据和各种HTTP头部信息 (如user-agent, proxy IP, cookie)。发送请求时我们最常用的有python 3自带的urllib库和需要安装的第三分包requests库。
数据解析: 对返回的数据(response)进行解析，提取我们所需要的信息。常用的数据解析的库有python自带的html.parser, beautifulsoup(第三方库）、lxml(第三方库)。
数据存储: 对第2步提取的数据我们有时候需要对其进行清洗，有时会直接存入数据库，写入磁盘文件(如csv文件)或缓存。

一个最简单的python 3爬虫

我们现在来用python 3自带的urllib库开发一个最简单的爬虫。(注: python 3的urllib库整合了python 2的urllib和urllib2)。我们新建一个spider项目文件夹，再创建一个新文件csdn_spider.py，添加如下代码。然后再终端输入python csdn_spider.py，

-- coding: UTF-8 --

from urllib import request

if name == “main”:
response = request.urlopen(“https://www.csdn.net/”)
html = response.read()
print(html)
上面这段代码是这样工作的。

通过request的urlopen发送请求到https://www.csdn.net/，返回的数据存在response变量里。HTTP的工作原理就是用户发送一个请求(request)到某个网址，网站服务器一定会给用户返回相应数据(response)。
读取response里的数据存在html变量里，并打印html.

如果你运行上面这个spider，你会发现打印的html里的中文字符都是乱码形式。这是因为python在解析网页时默认用Unicode去解析，而大多数网站是utf-8格式的。这是我们需要先使用html.decode("utf-8”)对返回的数据进行解码(decode)，才能显示正确的字符串。

-- coding: UTF-8 --

from urllib import request

if name == “main”:
response = request.urlopen(“https://www.csdn.net/”)
html = response.read()
html = html.decode(“utf-8”)
print(html)