python爬虫需要安装的模块_Python爬虫新手入门（二）爬虫的请求模块！

目录：

一、urllib模块

二、requests模块

三、请求模块中的一些关键参数总结

四、数据提取

一、urllib模块

1.urllib.request模块

在python2的版本中，有urllib2、urllib两个模块；到了现在的python3版本中，已经把urllib和urllib2合并成为了urllib.request模块。

下面是几种常用的方法：

向网站发起一个请求并获取响应：urllib.request.urlopen(“网址”) ； 需要注意到的是，urlopen()不支持重构User-Agent，这就要我们将请求头等信息放入urllib.request.Request(“网址”,headers=“字典”) 来完成。

对于GET方式：查询参数在URL地址中显示。

对于POST 方式，需要在Request方法中添加data参数。urllib.request.Request(url,data=data,headers=headers) ，其中data表单数据以bytes类型提交,不能是str。

读取服务器响应的内容：response.read()

针对响应内容，getcode() 是返回HTTP的响应码；geturl() 是返回实际数据的URL(防止重定向问题)。

解决响应内容中的乱码问题：response.read().decode(“utf-8”)

2.urllib.parse模块

在我们请求某个网站的时候，如果对某一中文关键词进行搜索，会发现URL中会出现相应的%加 十六进制码进行的编码。这样在请求时，就要通过urllib.parse.quote()来进行相应的转码，从而将URL地址完善。

二、requests模块

1.requests的常用方法

1.1 请求方法

requests.get(‘网址’)

关于两种请求方法的详细参数，在urllib模块已经介绍。

1.2 响应对象方法

response.text 返回unicode格式的数据(str)，在获取文字信息时常用

response.content 返回字节流数据(二进制)，在获取视频、音频时常用

response.content.decode(‘utf-8’) 手动进行解码

response.url 返回url

response.encode() 编码

三、请求模块中的一些关键参数总结

四、数据提取

1.数据提取

简单来说，数据提取就是从响应中获取我们想要的数据的过程

2.数据分类

非结构化数据：HTML

处理方法：正则表达式、xpath

结构化数据：json、xml

处理方法：转化为Python数据类型

3.数据提取之json

由于把json数据转化为python内建数据类型很简单，所以爬虫中，如果我们能够找到返回json数据的URL，就会尽量使用这种URL。

json是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

注意：json中的字符串都是双引号

最近在知乎上创建了一个新的Python技术圈子，在里面每天都会分享好玩有趣的Python知识，你如果对Python这门技术感兴趣的可以加入哦！交个朋友Python技术 - 知乎​www.zhihu.com