python爬虫（二）-requests库学习总结_requests.get不转义-CSDN博客

本文链接：https://blog.csdn.net/Yangirl_Sunny/article/details/89386818

本文主要介绍了Python的requests库，包括GET和POST请求的使用，高级方法如文件上传、cookies操作、会话维持、SSL证书验证、代理设置、超时设定和身份认证。同时讲解了Prepared Request的概念，并提供了相关资源链接。

摘要由CSDN通过智能技术生成

Requests是用python语言基于urllib编写的，但相对比于urllib.request库的繁琐，python提供了一套更为便捷的网络请求方法即requests库。

一.基本方法

1.GET请求
get这个API所写的底层函数如下，必须传参为URL，可选参数有params以及其他自定义等等,参数传入为字典形式，requests会自动编码成url形式。
查看源码：
（1）第一层源码
在这里插入图片描述
（2）具体可添加参顺如下：

实例应用如下:

import requests
url = "http://www.baidu.com/s?"# 请求头
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"}# 发送网络请求
params = {
"wd":"美女"
}#参数一般用字典形式，而且requests不需要转义
reponse = requests.get(url,params=params,headers = header)
data = reponse.content.decode()
with open("03.html","w",encoding="utf-8")as f:
f.write(data)
#优点：requests帮助我们自动转义编码

2.POST请求
实例：

  import requests
    data = {'name': 'germey', 'age': '22'}
    r = requests.post("http://httpbin.org/post", data=data)
    print(r.text)

利用response的api可以看到相关状态码以及请求头，cookies等信息。

二.高级方法

1.文件上传

import requests
files = {'file': open(&