requests-1快速学习

最新推荐文章于 2024-06-14 10:23:44 发布
最新推荐文章于 2024-06-14 10:23:44 发布
阅读量217 收藏
点赞数
文章标签： json 运维 python
原文链接：http://www.cnblogs.com/csj2018/p/10120674.html
版权

请直接转身官网http://docs.python-requests.org/zh_CN/latest/user/quickstart.html#url](http://docs.python-requests.org/zh_CN/latest/user/quickstart.html#url)

1.安装requests

pip install requests

2.发送请求

r = requests.get("https://api.github.com/events")
print('get:',r.url,r.status_code)
#data代表传入表单形式的数据
r = requests.post("http://httpbin.org/post",data = {'key':'vaule'})
print('post:',r.url,r.status_code)
r = requests.put("http://httpbin.org/put",data = {'key':'value'})
print('put:',r.url,r.status_code)
r = requests.delete('http://httpbin.org/delete')
print('delete:',r.url,r.status_code)
r = requests.head('http://httpbin.org/get')
print('head:',r.url,r.status_code)
r = requests.options('http://httpbin.org/get')
print('options',r.url,r.status_code)

1418970-20181217182340341-1153658892.png

3.传递URL参数

手工构建URL，将查询字符串组合到URL中。
对于带参数的URL，参数params是以dict的形式传入

import requests
r = requests.get("http://httpbin.org/get",params={'key1':'values1','key2':'value2'})
print("直接传递：", r.url, r.status_code)
search_word = {"wd":'廖雪峰'}
r = requests.get("https://www.baidu.com/s?",params=search_word)
print("间接传入：", r.url, r.status_code)
payload = {'key1':'value1', 'key2':['value2','value3']}
r = requests.get('http://www.httpbin.org/get', params=payload)
print("间接传入一个列表：", r.url, r.status_code)

1418970-20181217184239890-990338788.png

4.响应内容

requests会自动解码来自服务器的内容。大多数unicode字符集都能被无缝的解码。
请求发出后，request会基于http头部对响应的编码作出推测。

import requests
r = requests.get('https://api.github.com/events')
print(r.text)
print('使用的编码类型：', r.encoding)
#指定编码类型
r.encoding = 'ISO-8859-1'

1418970-20181217191315852-1338581548.png

5.二进制响应内容

返回的非文本内容，可以保存为文件
import requests
r = requests.get('http://img1.bitautoimg.com/bitauto/2018/12/17/5ac08f3f-34cb-4eca-91d8-3cf688ca2ce5_630_w0@2x.jpg')
with open('bitauto.jpg','wb') as f:
    f.write(r.content)

6.处理json数据

import requests
#json响应内容
r = requests.get('https://api.github.com/events')
print(r.json()[2])

1418970-20181217192928767-1264159627.png
如果json转码失败，会抛出异常

import requests
#json响应内容
r = requests.get('http://img1.bitautoimg.com/bitauto/2018/12/17/5ac08f3f-34cb-4eca-91d8-3cf688ca2ce5_630_w0@2x.jpg')
try:
    print(r.json())
except ValueError as e:
    print(e)

1418970-20181217193831395-1989917576.png
需要注意的是，成功调用 r.json() 并不意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（比如 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的期望相同。

7.原始响应内容

import requests
#在罕见的情况下，你可能想获取来自服务器的原始套接字响应，那么你可以访问 r.raw。 如果你确实想这么干，那请你确保在初始请求中设置了 stream=True。具体你可以这么做
r = requests.get('https://api.github.com/events', stream=True)
print(r.raw)
#将文本流保存到文件
with open('text.html', 'wb') as f:
    for i in r.iter_content(10):
        f.write(i)

1418970-20181217194959424-376232322.png

8.定制请求头

http://www.cnblogs.com/Joans/p/3956490.html

import requests
url = 'https://api.github.com/some/endpoint'
this_headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=this_headers)


注意: 定制 header 的优先级低于某些特定的信息源，例如：

  • 如果在 .netrc 中设置了用户认证信息，使用 headers= 设置的授权就不会生效。而如果设置了 auth= 参数，.netrc 的设置就无效了。
  • 如果被重定向到别的主机，授权 header 就会被删除。
  • 代理授权 header 会被 URL 中提供的代理身份覆盖掉。
  • 在我们能判断内容长度的情况下，header 的 Content-Length 会被改写。

更进一步讲，Requests 不会基于定制 header 的具体情况改变自己的行为。只不过在最后的请求中，所有的 header 信息都会被传递进去。

注意: 所有的 header 值必须是 string、bytestring 或者 unicode。尽管传递 unicode header 也是允许的，但不建议这样做。

9.更加复杂的post请求

data参数：可以发送一些编码为表单形式的数据

import requests
#传入一个字典
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print(r.json()["form"])
#data传入一个元组列表，在表单中多个元素使用同一个key的时候适用
payload = (('key1', 'value1'), ('key1', 'value2'))
r = requests.post('http://httpbin.org/post', data=payload)
print(r.json()["form"])

1418970-20181218143359006-1789712665.png

非表单形式

#!/usr/bin/env python3
# -*- coding:utf-8 -*-
import requests,json
url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}
#自行对dict进行编码
r = requests.post(url, data=json.dumps(payload))
print(r.text)
#使用json参数直接传递，会被自动编码
r = requests.post(url,data=payload)
print(r.text)

1418970-20181218144728493-1339424446.png

10.上传多部分编码文件

import requests
url = 'http://httpbin.org/post'
files = {'file': open('text.html','rb')}
r = requests.post(url,files=files)
print(r.text)

1418970-20181218150114354-1185138643.png
显式的设置文件名、文件类型和请求头

import requests
url = 'http://httpbin.org/post'
files = {'file':('text.html', open('text.html','rb'),'application/html',{'Expires':'0'})}
r = requests.post(url,files=files)
print(r.text)

1418970-20181218151210165-332009768.png
传递一个字符串

import requests
url = 'http://httpbin.org/post'
files = {'file':'some,data,to,send\aanother,row,to,send\n'}
r = requests.post(url,files=files)
print(r.text)

1418970-20181218151721794-534098904.png

警告

我们强烈建议你用二进制模式(binary mode)打开文件。这是因为 Requests 可能会试图为你提供 Content-Length header，在它这样做的时候，这个值会被设为文件的字节数（bytes）。如果用文本模式(text mode)打开文件，就可能会发生错误。

11.响应状态码

  • 返回状态码 r.status_code
  • 发送了错误请求4XX或者服务器响应错误5XX，使用r.raise_for_status抛出异常，没有异常，返回none
  • 内置状态码查询对象r.status_code == requests.codes.ok
    响应码为200的接口
import requests
r = requests.get('http://httpbin.org/get')
print('r.status_code:', r.status_code)
print('r.status_code == requests.codes.ok:',r.status_code == requests.codes.ok)
print(r.raise_for_status())

1418970-20181218153521830-1197107319.png
响应码为404的接口

import requests
r = requests.get('http://httpbin.org/status/404')
print("r.status_code: ",r.status_code)
print('r.raise_for_status():',r.raise_for_status())

1418970-20181218153829986-1022849.png

12.响应头

http响应头对大小写不敏感

import requests
r = requests.get('http://httpbin.org/status/404')
print(r.headers)
print(r.headers['content-type'])
print(r.headers.get('Content-Type'))

1418970-20181218154417913-425089049.png

如果某个响应中包含一些cookie，可以快速访问它们

import requests
url = 'http://example.com/some/cookie/setting/url'
r = requests.get(url)
print(r.cookies)

1418970-20181218160727108-2130357052.png
发送cookies到服务器

import requests
url = 'http://httpbin.org/cookies'
#传入cookies_param
cookies_param = dict(cookies_are='working')
cookies_param['one']='hello'
r = requests.get(url, cookies=cookies_param)
print('直接传入cookie1:',r.text)
#传入cookie_param
cookies_param = {'one':'hello','two': 'world','another':'runoob'}
r = requests.get(url,cookies=cookies_param)
print('直接传入cookie2:',r.text)

1418970-20181218161004312-841162690.png
Cookie 的返回对象为 RequestsCookieJar，它的行为和字典类似，但接口更为完整，适合跨域名跨路径使用。你还可以把 Cookie Jar 传到 Requests 中：

import requests
jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
url = 'http://httpbin.org/cookies'
r = requests.get(url, cookies=jar)
print(r.text)

1418970-20181218170942891-930097332.png

14.重定向与请求历史

默认情况下，除了 HEAD, Requests 会自动处理所有重定向。
GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，自动允许重定向处理；HEAD，自动禁止重定向：
使用allow_redirects参数可以启动或禁止重定向。
Response.history 是一个 Response 对象的列表，为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。

import requests
#GitHub将所有的http请求重定向到https
r = requests.get("http://github.com")
print(r.url)
print(r.status_code)
print(r.history)

1418970-20181218183521729-50070879.png

import requests
#GitHub将所有的http请求重定向到https
r = requests.get("http://github.com", allow_redirects=False)
print(r.url)
print(r.status_code)
print(r.history)

1418970-20181218184037066-1538999719.png

import requests
#GitHub将所有的http请求重定向到https
r = requests.head("http://github.com", allow_redirects=True)
print(r.url)
print(r.status_code)
print(r.history)

1418970-20181218184143745-1636250904.png

15.超时

requests 在经过以 timeout 参数设定的秒数时间之后停止等待响应。基本上所有的生产代码都应该使用这一参数。如果不使用，你的程序可能会永远失去响应：
timeout 仅对连接过程有效，与响应体的下载无关。 timeout 并不是整个下载响应的时间限制，而是如果服务器在 timeout 秒内没有应答，将会引发一个异常（更精确地说，是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时

import requests
r = requests.get("http://github.com", timeout=0.001)

1418970-20181218184821140-1775205140.png

16.错误与异常

  • 遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

  • 如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status() 会抛出一个 HTTPError 异常。

  • 若请求超时，则抛出一个 Timeout 异常。

  • 若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

  • 所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException 。

转载于:https://www.cnblogs.com/csj2018/p/10120674.html

weixin_30508241
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
requests-html快速入门
乐百川
07-15 3万+
Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，而且用起来和requests一样爽，下面就来介绍一下它。 安装 安装requests-html非常简单，一行命令即可做到。需要注意一点就是，requests-html只支持P...
python三方库之requests的快速上手
09-19
主要介绍了python三方库之requests的快速上手，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
前后端分离RequestResult返回模型的封装
归隐者的博客
09-29 616
前后端分离RequestResult返回模型的封装 封装代码 public class RequestResult { private String code; private String message; private Object data; public RequestResult() {} public RequestResult (String code, String message) { this.code = code;
python requests中文文档-Requests 2.18.1 中文文档
weixin_39537680的博客
11-11 941
通常，你想要发送一些编码为表单形式的数据——非常像一个 HTML 表单。要实现这个，只需简单地传递一个字典给 data 参数。你的数据字典在发出请求时会自动编码为表单形式：>>> payload = {"key1": "value1", "key2": "value2"}>>> r = requests.post(&q...
requests中文说明文档----快速上手
a963241242的博客
09-12 917
http://docs.python-requests.org/zh_CN/latest/ http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 快速上手 迫不及待了吗？本页内容为如何入门 Requests 提供了很好的指引。其假设你已经安装了 Requests。如果还没有，去安装一节看看吧。 首先，确认一下： ...
【Python】Requests快速入门
Mike0010的博客
06-27 624
本文将指导您掌握requests库以快速起步，咱们现在就开始吧！
2.17.3-Python爬虫(requests登录)
KelvinLiu
05-27 3379
爬虫整理，使用python，目前写到了requests部分，包含requests的get和post、session登录。 后续会把selenium部分补充起来
爬虫框架Scrapy学习笔记-1
记录我的学习历程
09-14 2490
摘要：本文介绍了网页加载过程、HTTP状态码、反爬措施、数据解析、多任务异步爬虫、数据存储和面向对象编程。读者将了解如何爬取网页数据、处理和存储，以及面向对象编程的基本原理。这些技能对于信息收集、数据分析和网页开发非常有用。
python3学习-requests使用
rickiyang的博客
11-27 9538
前面我们讲过了urllib模块，知道他是用于网络请求的，这一节讲的requests还是用于网络请求的，只不过urllib是官方模块，而requests是第三方的模块。用过的人都说他才是’人类使用的’，哈哈，我也没觉得urllib有多么尿性啊！下面我们试着回归人类的生活吧。这是第三方的模块，所以需要手动安装，安装过程在此不表，请度娘查之。1.首先我们导入模块：import requests 2.请求u
autogluon--自动机器学习快速训练模型
xzpdxz的博客
01-20 3861
AutoGluon AutoGluon 自动执行机器学习任务，使您能够轻松地在应用程序中实现强大的预测性能。只需几行代码，您就可以在文本、图像和表格数据上训练和部署高精度机器学习和深度学习模型。 支持的任务 表格数据预测任务 文本数据预测任务 图像分类预测任务 物体检测预测任务 安装 $ pip install -U "mxnet<2.0.0" -i https://pypi.tuna.tsinghua.edu.cn/simple # cpu版本 $ pip install -U "mxnet
Python爬虫学习 2 —— 使用requests
我有两颗糖
08-14 617
  学习爬虫最先尝试的是requests库，感觉它用起来特别方便，requests拥有简便的API，我们使用起来也不难。 一、安装requests库 step1：Windows+ R打开cmd step2：使用pip快速安装request，输入下面的命令 pip install requests 二、发送请求 例子：获取并打印一个url的内容： import requests url = ...
Python爬虫基础教程-主要讲解requests库
04-10
本教程将介绍Python爬虫的基础知识和常用技术，帮助你快速入门Python爬虫编程。 本教程介绍了Python爬虫的基础知识和常用技术，包括发送HTTP请求、解析HTML、提取信息、保存数据、反爬虫策略等。通过学习本教程，你...
python爬虫开发学习-爬取豆瓣排行榜电影数据(含GUI界面版)-源码.zip
04-08
这份Python爬虫源代码是一份非常实用的学习资料，它可以帮助用户快速掌握爬取豆瓣排行榜电影数据的技能。该代码包含了GUI界面版，使得用户可以更加方便地进行操作和管理。 该代码使用了Python的requests库和...
文件快传（使用tkinter+flask+requests+threading）此文件为使用这些模块的实例程序（加注释）
07-10
1，多线程的使用及通信 2，tkinter与flask的搭配使用 3，requests的使用 4，使用os分割文件名 5，使用flask做文件分发 6，使用tkinter做响应界面 程序设计思路 文件快传是指一个设备将文件快速传至另一个设备，而这...
Python爬虫与Requests库笔记.md
08-26
接下来，文章详细展示了如何使用Requests库发送GET和POST请求，以及如何自定义请求头和参数，让读者能够快速上手进行网络数据获取。然后，文章引入了响应处理与解析的内容。读者将学习如何获取响应内容和响应头信息...
如何从零训练多模态大模型（预训练方向）
2201_75499313的博客
06-12 1162
参考 Finetune LLaVA on Custom Datasets[13]将训练样本以列表的形式保存到 json 文件，其中每一个样本是一个字典，它至少包含三个字段：id：全局唯一的字符串image：图片的路径，可以是绝对路径，也可以是相对于image_folder的相对路径conversations：人类和语言模型的对话},},},...完成数据的处理后，修改 finetune.sh[14] 中的 data_path 参数（必须）以及其他想要调整的参数（可选，例如学习率）。
手机在网状态-手机在网状态查询-手机在网站状态接口
最新发布
lupai的博客
06-14 581
查询手机号在网状态，返回正常使用、停机、未启用/在网但不可用、不在网（销号/未启用/异常）、预销户等多种状态 直连三大运营商，实时更新，可查询实时在网状态 高准确率-实时更新，准确率99.99%接口地址：https://www.wapi.cn/api_detail/120/263.html。s_msg 否 Integer 手机状态中文说明：正常、停机、在网不可用、销号、 查无信息 正常。红色部分代表参数值，appid默认为1，请修改为自己的appid值，去我的应用查看以及密钥。如何设置hash验证。
nodejs
Alex的博客
06-10 307
/打印当前所在目录。node js中引入外部，不能使用SE6中的import,会报。运行:node test.js。node -v 查看版本。nodemon插件使用。
oracle的json_arrayagg的用法和例子
codemami的博客
06-13 738
这个函数对于将查询结果转换为 JSON 格式特别有用，尤其是在 RESTful API 或需要 JSON 输出的应用中。NULL ON NULL：如果所有输入值都是 NULL，则返回 NULL（在 12c R2 及更高版本中可用）。STRICT：如果任何输入值不是有效的 JSON，则抛出异常（在 12c R2 及更高版本中可用）。PRETTY：美化输出的 JSON 格式（在 12c R2 及更高版本中可用）。expr：要聚合的表达式，可以是任何可以求值为 JSON 对象的表达式。
如何快速学习python
06-07
以下是几个快速学习Python的方法： 1. 学习基本语法：Python语法简单易懂，学习基本语法是学习Python的第一步。可以通过阅读Python官方文档、书籍或在线课程等学习基本语法。 2. 练习编程：编写实际的Python代码是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值