爬虫获取数据requests库使用介绍及案例

requests请求库

1 requests介绍及安装

​ requests是一个优雅而简单的python HTTP请求库，也是爬虫项目最常用的HTTP请求库。其作用在于发送请求获取响应数据。安装requests请求库只需要在终端（命令行工具)运行这个简单命令即可：

pip install requests

注意：

1.如果安装在Python虚拟环境中，先进入虚拟机环境再执行上述命令；

2.如果系统中即安装了python2又安装了python3，需要安装再python3环境中：pip3 install requests

2 requests基本使用

requests使用三步骤：

1）导入模块；

2）发送get请求，获取响应；

3）从相应中获取数据；

#1.导入模块
import requests
#2.发送请求，获取响应
response = requests.get('http://www.baidu.com')
#3.获取响应数据
#print(response)#可知是否响应成功，200即为成功
#print(response.encoding)#可获取其编码类型
# response.encoding = 'utf-8'#指定编码内容，此时就可以获得更易读的中文内容
# print(response.text)#按照我们指定的方式对获取的二进制数据进行解码
response.content.decode(encoding='utf8')#这里的content返回的是二进制数据，deconde默认的解码方式是utf-8，将上面两步的操作一步搞定

response常用属性：

• response.text:响应体str类型；
• response.encoding:二进制转换字符使用的编码；
• response.content:相应体bytes类型。

3 案例1 请求疫情首页

获取丁香园新型冠状疫情实时动态首页内容

首页的URL为：https://ncov.dxy.cn/ncovh5/view/pneumonia

import requests

response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')

print(response.content.decode())

以上运行，即可得到文本数据。