Python Requests Lib

最新推荐文章于 2024-05-22 14:55:11 发布
最新推荐文章于 2024-05-22 14:55:11 发布
阅读量250 收藏
点赞数 1
分类专栏： 爬虫 网络安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/the_Discovery/article/details/111688679
版权

1. Requests库 开发哲学

Requests 是以 PEP 20 的箴言为中心开发的

  1. Beautiful is better than ugly.(美丽优于丑陋)
  2. Explicit is better than implicit.(直白优于含蓄)
  3. Simple is better than complex.(简单优于复杂)
  4. Complex is better than complicated.(复杂优于繁琐)
  5. Readability counts.(可读性很重要)

注意Requests是以Apache2协议发布的。

2. 快速上手

2.1 发送请求

import requests
r = requests.get('https://api.github.com/events')

r是一个Response对象，其内部有header, text, status_code等参数。

类似的，对于其它类型的请求，我们有

r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')

2.2 传递URL参数

使用formData类型传递参数。

formData = {
    'key1': 'value1', 'key2': 'value2'
}
r = requests.get("http://httpbin.org/get", params=formData)
print(r.url)

我们输出被正确编码的网址。

http://httpbin.org/get?key1=value1&key2=value2

2.3 响应内容

2.3.1 普通响应
import requests
r = requests.get('https://api.github.com/events')
print(r.text)

request会自动推测编码的类型，当然，你也可以手动设置编码方式。

print(r.encoding)
# out : 'utf-8'
r.encoding = 'ISO-8859-1'
2.3.2 二进制响应

对于非文本请求，可以使用r.content的值来获得响应字节。

from PIL import Image
from io import BytesIO

# 读取r.content图片
i = Image.open(BytesIO(r.content))
2.3.3 JSON响应
import requests

r = requests.get('https://api.github.com/events')
r.json()

需要注意，成功调用r.json()并不意味着响应一定是成功的。有的服务器会在失败的响应中包含一个JSON对象（比如HTTP500的错误细节）。要使用 **r.raise_for_status()**或者检查 r.status_code来确认请求的成功与否。

2.3.4 原始响应内容

直接获取来自服务器的socket响应。

在请求时，打开开关stream=True，并且使用r.raw变量。

r = requests.get('https://api.github.com/events', stream=True)
r.raw
print(r.raw.read(10))

通常情况下，我们将响应的文本流保存至文件。

with open(filename, 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

这种模式我们通常用于下载文件。

2.4 定制请求头

url = 'https://api.github.com/some/endpoint'
headers = {
    'user-agent': 'my-app/0.0.1'
}

r = requests.get(url, headers=headers)

header有时会被高优先级的信息源覆盖。

  • 如果在 .netrc 中设置了用户认证信息，使用 headers= 设置的授权就不会生效。而如果设置了 auth= 参数，.netrc 的设置就无效了。
  • 如果被重定向到别的主机，授权 header 就会被删除。
  • 代理授权 header 会被 URL 中提供的代理身份覆盖掉。
  • 在我们能判断内容长度的情况下，header 的 Content-Length 会被改写。

更进一步讲，Requests 不会基于定制 header 的具体情况改变自己的行为。只不过在最后的请求中，所有的 header 信息都会被传递进去。

2.5 构造复杂的POST请求

2.5.1 使用Dict模拟formData
payload = {
    'key1': 'value1', 'key2': 'value2'
}

r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)
2.5.2 使用Tuple模拟formData
payload = (('key1', 'value1'), ('key1', 'value2'))
r = requests.post('http://httpbin.org/post', data=payload)
print(r.text)

使用这种构造formData，可以将多个键值设为相同。此时，相同键值的value会合并为一个列表。

{
  ...
  "form": {
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}
2.5.3 构造一个字符串形式的请求
import json

url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}

r = requests.post(url, data=json.dumps(payload))

也可以使用json参数直接传递。

url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}

r = requests.post(url, json=payload)
2.5.4 传递一个多部分编码的文件（Multipart Encoded File）
url = 'http://httpbin.org/post'
files = {'file': open('report.xls', 'rb')}

r = requests.post(url, files=files)
print(r.text)

你可以显式地设置文件名，文件类型和请求头：

url = 'http://httpbin.org/post'
files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

r = requests.post(url, files=files)
r.text

# output:
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

还有一个挺无聊的功能，可以把字符串作为文件来发送。

url = 'http://httpbin.org/post'
files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}

r = requests.post(url, files=files)
print(r.text)

# output: 
{
  ...
  "files": {
    "file": "some,data,to,send\\nanother,row,to,send\\n"
  },
  ...
}

如果你发送一个非常大的文件作为 multipart/form-data 请求，你可能希望将请求做成数据流。默认下 requests 不支持, 但有个第三方包 requests-toolbelt 是支持的。你可以阅读 toolbelt 文档 来了解使用方法。

我们推荐使用二进制的形式打开文件，以防止被错误地默认操作，因为requests库太聪明了，聪明反被聪明误。

2.6 响应状态码

r = request.get('http://httpbin.org/get')
print(r.status_code) # output: 200

库中有常量可供引用。

r.status_code == requests.codes.ok
# output : True

当响应异常时，我们使用Response.raise_for_status()主动抛出异常(因为库函数默认不会抛出异常)。该函数在响应正常时不会抛出异常，无返回值（即返回值为None）。

bad_r = requests.get('http://httpbin.org/status/404')
print(bad_r.status_code)
# output: 404

bad_r.raise_for_status()

2.7 响应头

响应由响应头和响应体构成。r.header对象是响应头，它是一个字典。

print(r.headers)
# output: 
{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '148ms',
    'etag': '"e1ca502697e5c9317743dc078f67693f"',
    'content-type': 'application/json'
}

2.8 Cookie

2.8.1 接收响应Cookie
url = 'http://example.com/some/cookie/setting/url'
r = requests.get(url)

print(r.cookies['example_cookie_name'])
# output: 
'example_cookie_value'
2.8.2 发送Cookie
url = 'http://httpbin.org/cookies'
cookies = dict(cookies_are='working')

r = requests.get(url, cookies=cookies)
print(r.text)
# output: 
'{"cookies": {"cookies_are": "working"}}'

Cookie的返回对象是RequestsCookieJar，它的行为和字典类似，但接口更为完整，适合跨域名跨路径使用。你还可以把 Cookie Jar 传到 Requests 中：

jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
url = 'http://httpbin.org/cookies'
r = requests.get(url, cookies=jar)
# 只会自动使用指定domain和path下的cookie，因此适合跨域名跨路径使用
r.text
'{"cookies": {"tasty_cookie": "yum"}}'

2.9 重定向与历史请求

默认情况下，除了 HEAD, Requests 会自动处理所有重定向。

可以使用响应对象的 history 方法来追踪重定向。

Response.history 是一个 Response 对象的列表，为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。

例如，Github 将所有的 HTTP 请求重定向到 HTTPS：

>>> r = requests.get('http://github.com')

>>> r.url
'https://github.com/'

>>> r.status_code
200

>>> r.history
[<Response [301]>]

如果你使用的是GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，那么你可以通过 allow_redirects 参数禁用重定向处理：

>>> r = requests.get('http://github.com', allow_redirects=False)
>>> r.status_code
301
>>> r.history
[]

如果你使用了 HEAD，你也可以启用重定向：

>>> r = requests.head('http://github.com', allow_redirects=True)
>>> r.url
'https://github.com/'
>>> r.history
[<Response [301]>]

2.10 超时，错误与异常

2.10.1 超时

生产代码中，我们需要使用超时限制，否则程序可能永远失去响应。

>>> requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)
2.10.2 错误与异常

遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status() 会抛出一个 HTTPError 异常。

若请求超时，则抛出一个 Timeout 异常。

若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException 。

所追寻的风
关注
专栏目录
python request库的使用
大步向前小张
06-21 5138
初识requests requests库的宣言是 HTTP for Humans （给人用的 HTTP 库） 我们首先来验证一下。 在网络编程中，最最基本的任务包含： 发送请求 登录 获取数据 解析数据 反序列化打印内容 我们以 GitHub 为例，先看一下使用urllib2要怎么做。为了把事情弄简单点，我们假设实现已经知道，GET 请求https://api.gi...
Python_Lib:使用 Python 库的代码记录
04-29
"Python_Lib:使用 Python 库的代码记录"是一个存储了作者使用过的Python库及其应用示例的资源库，旨在促进学习和交流。以下是一些重要的Python库及其在实际开发中的应用： 1. **NumPy**：NumPy是Python科学计算的...
【python】requests模块初探
复现的博客
10-16 293
一、写在前面 Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。 那么，requests都有哪些应用场景呢？ 1.服务器编程基础； 2.爬虫利器； 3.自动化接口测试； 4.运维监控脚本 等等 本篇，我就记录一下requ
Python#爬虫&调用lib库&requests介绍
weixin_48321071的博客
01-25 334
开撸第一个代码 图片过程： 实战案例 # url 网址 lib库 request 请求 import 导入 urlopen 网址 打开 from urllib.request import urlopen # url = "http://www.baidu.com" # 百度网址源码 url = "https://www.dy2018.com/" # 电影天堂网站网址 -> 源码 resp = urlopen(url) # 搜所 charset => "utf-8" # pri
笔记-python-lib-requests常用类/方法/属性
akuibpt23191的博客
10-29 234
笔记-python-lib-requests常用类/方法/属性 1. requests模块常用类/方法/属性 在使用中发现对requests模块不够熟悉，写了几个案例后重新整理了一下文档，罗列出常使用的类/方法/属性。 详细情况请查看：http://docs.python-requests.org/en/master/ 1.1. class re...
Python爬虫学习第一天--uillib库和request库
weixin_30276935的博客
07-08 174
1、urllib python 内置的http的请求库 　　urllib.request #请求模块 　　www=urllib.request.urlopen(url，data,timeout) 　　www.read().decode('utf-8') 　　type(www)#响应类型 　　www.status#响应状态吗 　　www.getheaders()#响应头 　　www.ge...
win与linux系统中python requests 安装
09-21
4. **复制文件夹**: 将解压后的`requests`文件夹复制到Python的安装目录下的`Lib`文件夹内。 5. **验证安装**: 在Python环境中尝试导入Requests库，如果未出现错误提示，则表示安装成功。 ```python import ...
解决Python requests 报错方法集锦
12-25
python版本和ssl版本都会导致 requests在请求https网站时候会出一些错误，最好使用新版本.../usr/lib/python2.6/site-packages/requests/packages/urllib3/util/ssl_.py:132: InsecurePlatformWarning: A true SSLCont
common-python-lib-poc
03-21
此工具可能包含了对多个常见Python库的POC测试，如requests、flask、Django等，这些都是Python开发中常用的库。它通过模拟攻击向量，尝试触发潜在的漏洞，如SQL注入、XSS跨站脚本、命令注入等，以验证代码的健壮性。...
python的requests模块文件.zip
03-22
写Pyhton代码的时候，需要用上requests模块，只好自己来先安装一下requests模块，Pyhton安装都是用pip来安装模块的。现在的高版本Pyhton在安装的...2.将requests文件夹贴粘到PYTHON的安装路径下的Lib文件夹下就可以了。
【Python实例6.8】一篇文章让你快速学会requests库安装.md
06-08
pip是很强大的模块安装工具，学过python的小伙伴都知道，安装库一般容易出现运行报错，出现一片红色英文，看也看不懂，本来就小白，出现红色英文，心态是不是很崩溃！别急的，只要使用我的方法，以后妈妈再也不用担心我学编程了。嘿嘿~~
Python 网络请求：深入理解Requests库
汉阳Hann's Home
04-04 2532
requests库作为Python中处理HTTP请求的神器，以其简洁易用、功能强大、高度可定制和社区支持等特性，在实际应用中发挥着重要作用。无论是网页爬虫、API交互还是数据上报等场景，requests库都能帮助开发者更加高效地处理HTTP请求，提升开发效率。
【Python快速上手（二十九）】- Python requests 模块详解
最新发布
qq_38641481的博客
05-22 1816
Python的requests模块是一个用于发送HTTP请求的流行库，它比内置的urllib库更易用且功能强大。requests模块提供了简单的API，可以处理复杂的HTTP请求，处理Cookie、会话、重定向等功能。本文将详细讲解requests模块的基本用法、发送请求、处理响应、会话管理、异常处理和实际应用案例。requests模块是一个用于发送HTTP请求的第三方库，支持HTTP/1.1，并且具有良好的支持和文档。要使用requests模块，首先需要安装它：pip install requests
python3.x学习之urilib.request简单学习
qq_37910995的博客
07-12 612
参考链接：https://docs.python.org/3/library/urllib.request.html#module-urllib.request （翻译有误之处请见谅，我还是个初学者。。。） urllib是一个用来处理URLs的包，它包含了几个模块。 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile
Python中requests包的安装
热门推荐
NeilZhy
01-09 2万+
在使用pycharm开发的时候，我们经常需要导入一些包，但是这些包，我们事先并没有安装，一个显著的现象就是我们在pycharm中导入一个包时，系统提示不存在，那就是我们没有安装这个包。举一个例子，我在使用pycharm时，需要导入一个requests的包，当我敲入代码import requests时，提示有错误，那么我们应该如何解决类似的问题呢。 首先我们应该根据提示下载相应的安装包，我这里在官
Python里的request库安装
weixin_45643931的博客
08-16 8508
安装request库 python里的request库经常被用于进行网络爬虫，想要学习网络爬虫的同学必须得安装request这个第三方库，接下来就是安装这个库的步骤 刚开始时，你是没有这个模块的 那么就得安装导入了 方法一： 1.确定自己以前没有安装过，那么就打开这个网址，进去下载（gz）https://pypi.org/project/pip/#files 等待下载好后，解压再放到你的python文件夹里的Lib里面 方法二： 利用pip安装，这种方法很简单，但是我这边莫名的会出错 WARNING: Y
【Python爬虫】安装requests库解决报错问题
小洁洁
10-23 4994
在命令行输入：pip install requests -i http://pypi.douban.com/simple --trusted-host pypi.douban.com。执行pip install requests此语句后，它会默认的用国外的镜像来进行下载，所以速度就会过慢，速度一慢，也就造成·了超时，从而报错。但是如果你出现了如下图所示的问题，也不要慌张，因为我在安装时也出现了这种问题，首先来解释一下出现原因的原因吧。豆瓣： http://pypi.douban.com/simple/
Requests: 让 HTTP 服务人类
08-18 2350
系列文章目录 第一章:让 HTTP 服务人类 文章目录系列文章目录前言一、pandas是什么？ddd二、使用步骤1.引入库2.读入数据总结 前言 警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ddd 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： imp
安装requests模块及其他依赖库的完美解决办法
the_beginner的博客
07-25 3666
库及其所有依赖的whl文件，并将它们保存在指定的目录中。然后，你可以将这些whl文件复制到离线计算机上，并按正确的依赖关系顺序手动安装它们，以确保。导入requests库时报错，单独离线下载安装requests，发现仍然报错，问题在于requests库有其他依赖库。及其依赖项的whl文件，并保存在当前目录。你需要找到所有下载的whl文件并将它们复制到离线计算机的一个目录中。然后，在离线计算机上，可以进入保存whl文件的目录，并按正确的依赖关系顺序手动安装这些包。）选项来指定下载的whl文件保存的目录。
pythonrequests库安装
08-14
另外，也可以通过下载requests文件并将其复制到Python的安装目录下的lib目录来进行安装。在国内使用pip或easy_install安装时可能会遇到问题，可以使用其他方法解决。一个例子是通过在命令提示符中使用pip --default-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值