Python requests 笔记(一)

添加 HTTP请求头

需要设置 get方法的headers参数.该参数是一个字典类型的值,每一对key-value 就是一个 Cookie。如果要设置中文,需要使用相关的函数进行编码与解码,不过比urllib 和 urllib3 方便多了。

  • quote :负责编码
  • unqoute :负责解码

例子:

import  requests
from urllib.parse import quote,unquote
# 写请求头
headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    # 将中文编码
    'name' :quote('李宁')
}
# 发送请求
r = requests.get('http://httpbin.org/get',headers = headers)
# 输出响应体
print(r.text)
# 输出name 请求头的值(需要解码)
print('Name: ',unquote(r.json()['headers']['Name']))
ps:

请求头中的键在响应体中,总是第一个英文字母大写。不管你在代码里写是什么样的。

如:

'name' :quote('李宁')
# 变成
Name :李宁

'NaMe' :quote('李宁')
# 也是变成
Name :李宁

抓取二进制文件

一般获取二进制数据(图片、视频等),需要将数据保存到本地文件中。所以需要调用 Response.content 属性获得bytes形式的数据。

代码:

上传文件

用requests上传文件也是相当简单的,只需指定post方法的files参数即可。files参数的值可以是Buffered Reader对象,该对象可以用Python语言的内置函数open返回。

代码:

import  requests
from urllib.parse import quote,unquote
# 写请求头
headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    # 将中文编码
   # 'name' :quote('李宁')
}
# 发送请求
link = 'https://tse4-mm.cn.bing.net/th/id/OIP-C.a9A8bFqvNQ_iw7neprKWzwHaKH?w=206&h=282&c=7&o=5&dpr=1.25&pid=1.7'
r = requests.get(link,headers = headers)
print(r.text)
with open('图片1.png','wb') as f:
    f.write(r.content)

import  requests
# 定义上传的文件,字典中必须有一个key = file 的值,值类型是BfferedReader,可以用open函数返回
files1 = {'file':open('图片1.png','rb')}

r1 = requests.post('http://127.0.0.1:5000/',files = files1)

print(r1.text)

设置Cookie

使用requests 就简单得多,只需要使用cookies属性就可以得到服务端发送过来的Cookie。设置Cookie也相当简单。有如下2种方法设置Cookie,

  1. headers参数。
  2. cookies参数。

get和post方法都有这两个参数,如果使用cookies参数,需要创建Requestookiar对象,并使用set方法设置每一个Cookie。

在访问某些网站时,只有登录用户才能获得正常显示的内容,所以一般的做法是先在网页上登录。

通过Chrome浏览器的开发者工具得到登录后的Cookie(如图5-8所示),然后将这些Cookie复制,放到文件或直接写到程序中,当客户端请求这些网站时,再将这些Cookie发送给服务端、这样一来,尽管我们并不知道用户名和密码,但由于登录标识保存在Cookie中,所以给服务端发送了Cookie,
就相当于登录了。

最简单就是将Cookie 放到headers中

headers = {
    'Host':'csdn.net/?spm=1011.2124.3001.4476',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.73',
    'Cookie':'uuid_tt_dd=10_37481955370-1625655302106-686916; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=6525*1*10_37481955370-1625655302106-686916!5744*1*qq_39838607......'
}

设置同一个会话(Session)

在requests 中提供了Session 对象,可以无须用户干预Cookie的情况下维持Session。通过Session对象的get、post等方法可以在同一个Session中向服务器发送请求。

代码:

import  requests

#创建 Session 对象
session = requests.Session()
# 其中 set/name/Bill 相当于向服务器写入一个名为name 的Cookie
# 第一次发送请求
session.get('http://httpbin.org/cookies/set/name/Bill')
#第二次发送请求
r2 = session.get('http://httpbin.org/cookies')
print(r2.text)

使用代理

requests使用代理发送请求非常容易,只需指定proxies参数即可,该参数是一个字典类型的值,每一对 key−value表示一个代理的协议,如http、https等。

代码:

import  requests

hesders = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
'Host':'jd.com'
}
proxies ={
    'http':'http://182.140.244.163:8118',
    'https':'https://182.140.244.163:8118'
}

link = 'https://www.jd.com'
r1 = requests.get(link,proxies = proxies,headers= hesders,verify=False)
print(r1.text)

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落春只在无意间

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值