requests模块的入门和基本使用

requests模块的基本使用
1.了解 requests模块的介绍
2.掌握 requests的基本使用
3.掌握 response常见的属性
4.掌握 requests.text和content的区别
5.掌握 解决网页的解码问题
6.掌握 requests模块发送带headers的请求
7.掌握 requests模块发送带参数的get请求

一.requests模块和urilib模块的区别
requests模块的底层就是urillib.
requests在python2和python3中通用,方法完全一样;reqeusts简单易用.Requests能够帮助我们解压(gzip压缩的等)响应内容.

二. requests的作用和基本使用
1.作用:发送网络请求,返回响应数据
中文文档 : http://docs.python-requests.org/zh_CN/latest/index.html
通过观察文档来学习:如何使用requests来发送网络请求
2.基本使用
requests模块发送简单的get请求、获取响应的方式
格式: response = 请求工具/对象.请求方法(请求地址)
即:   resposne = requests.get(url)
3.我们来把www.baidu.com的图片保存到本地
import requests
# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png' 
# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url) 
# print(response.content)
# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f: 
    # 写入response.content bytes二进制类型
    f.write(response.content)


三.  response的常用属性
    response.text 响应体 str类型
    respones.content 响应体 bytes类型
    response.status_code 响应状态码
    response.request.headers 响应对应的请求头
    response.headers 响应头
    response.request.cookies 响应对应请求的cookie
    response.cookies 响应的cookie(经过了set-cookie动作)

1. response.text 和response.content的区别
response.text
类型:str
解码类型: requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码
如何修改编码方式:response.encoding=”gbk”

response.content
类型:bytes
解码类型: 没有指定
如何修改编码方式:response.content.deocde(“utf8”)

2.  获取网页源码的通用格式
<1>response.content.decode()
<2>response.content.decode("GBK")
<3>response.text
以上三种方法从前往后尝试,能够100%的解决所有网页解码的问题
更推荐使用response.content.deocde()的方式获取响应的html页面


四.  发送带header的请求
import requests
url = 'https://www.baidu.com'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 在请求头中带上User-Agent,模拟浏览器发送请求
response = requests.get(url, headers=headers) 
# print(response.content)
# 打印请求头信息
print(response.request.headers)

五.  发送带参数的请求的2种方式
# 方式一:利用params参数发送带参数的请求

import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 这是目标url
# url = 'https://www.baidu.com/s?wd=python' 
# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?' 
# 请求参数是一个字典 即wd=python
kw = {'wd': '偷心圣手'} 
# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw) 
# 当有多个请求参数时,requests接收的params参数为多个键值对的字典,比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}
print(response.content)

# 方式二:直接发送带参数的url的请求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'
# kw = {'wd': 'python'}
# url中包含了请求参数,所以此时无需params

response = requests.get(url, headers=headers)


©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页