Python爬虫初探（二）——爬虫的请求模块

一、urllib模块
二、requests模块
三、请求模块中的一些关键参数总结
四、数据提取

一、urllib模块

1.urllib.request模块
在python2的版本中，有urllib2、urllib两个模块；到了现在的python3版本中，已经把urllib和urllib2合并成为了urllib.request模块。

下面是几种常用的方法：
向网站发起一个请求并获取响应：urllib.request.urlopen(“网址”) ； 需要注意到的是，urlopen()不支持重构User-Agent，这就要我们将请求头等信息放入urllib.request.Request(“网址”,headers=“字典”) 来完成。
对于GET方式：查询参数在URL地址中显示。
对于POST 方式，需要在Request方法中添加data参数。urllib.request.Request(url,data=data,headers=headers) ，其中data表单数据以bytes类型提交,不能是str。

读取服务器响应的内容：response.read()
针对响应内容，getcode() 是返回HTTP的响应码；geturl() 是返回实际数据的URL(防止重定向问题)。

解决响应内容中的乱码问题：response.read().decode(“utf-8”)

2.urllib.parse模块
在我们请求某个网站的时候，如果对某一中文关键词进行搜索，会发现URL中会出现相应的%加 十六进制码进行的编码。这样在请求时，就要通过urllib.parse.quote()来进行相应的转码，从而将URL地址完善。

二、requests模块

1.requests的常用方法
1.1 请求方法
requests.get(‘网址’)
requests.post(‘网址’)
关于两种请求方法的详细参数，在urllib模块已经介绍。

1.2 响应对象方法
response.text 返回unicode格式的数据(str)，在获取文字信息时常用
response.content 返回字节流数据(二进制)，在获取视频、音频时常用
response.content.decode(‘utf-8’) 手动进行解码
response.url 返回url
response.encode() 编码

三、请求模块中的一些关键参数总结

参数	作用
URL地址	要爬取信息的网站地址
User-Agent 用户代理	记录用户的浏览器、操作系统等,为了让用户更好的获取HTML页面效果
Referer	在爬取的时候带上referer，对方便会识别为非爬虫，即可进行下一步工作。（referer里面是起始的网址，表明当前这个请求是从哪个url地址过来的）
cookie	通过在客户端记录的信息确定用户身份（HTTP是一种无连接协议,为了维护他们之间的连接,让服务器知道这是前一个用户发起的请求,必须在一个地方保存客户端信息。）
session	保持会话，做一些爬虫，如12306里的图片验证码、账户密码，要保持会话才能搞定

四、数据提取

1.数据提取
简单来说，数据提取就是从响应中获取我们想要的数据的过程

2.数据分类
非结构化数据：HTML
处理方法：正则表达式、xpath
结构化数据：json、xml
处理方法：转化为Python数据类型

3.数据提取之json
由于把json数据转化为python内建数据类型很简单，所以爬虫中，如果我们能够找到返回json数据的URL，就会尽量使用这种URL。
json是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

注意：json中的字符串都是双引号

第一篇：Python的要点(搭建环境、安装配置、第三方库导入方法详细过程)
第二篇：Python爬虫初探（一）——了解爬虫