python模块04-requests

于 2024-08-26 00:25:43 发布
阅读量425 收藏 10
点赞数 18
分类专栏： python 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41070511/article/details/140783147
版权

1 requests模块发送请求

Requests是一个Python HTTP庫

 相关参考资料：

文档：Requests: 让 HTTP 服务人类 — Requests 2.18.1 文档

requests · PyPI：requests · PyPI

requests源码：GitH0ub - psf/requests: A simple, yet elegant, HTTP library.

HTTP协议相关：

HTTP协议相关知识-CSDN博客

鉴权Cookies、授权session、token-CSDN博客

安装：

pip install requests

1.1 发送get 请求

  • 方法：requests.get()
  • 参数传递：使用parmas传递参数
#导入 requess
#requests就是一个客户端，客户端是什么？ 发送请求的一方，不一定有界面 前端、postman,user-agent
#python用requests发送请求其就是一个user-agent
#接收请求：服务端

import  requests

#发送GET请求，需要传递参数，URL
url = "http://www.baidu.com"
res = requests.get(url)

#得到响应数据
"""
通过res获取其响应数据
"""
print(res) #<Response [200]>
print(res.status_code) #200


#获取返回的数据，获取文本
#方式一：返回HTML页面
print(res.text)

打印如图：  

#方式二：二进制格式
#为字节流数据
#特殊情况：图片、视频、音频
print(res.content)

打印如图： 

#打印为JSON格式的数据,返回的格式为字典
#返回的是字典，如果接口返回的不是json格式，res,json()报错
print(res.json())

#如果接口不是json的数据
#只能使用res.text,不然会报错

1.2 发送post 请求

  • 方法：requests.post()
  • 参数传递方式：
    • application/x-www-form-urlencoded类型参数（表单类型）：
      • 使用data进行传递
    • application/json类型参数（json类型）：
      • 使用json进行传递

post和get即请求语句不相同，响应数据获取是一致的

res = requests.post(url)

print(res)
print(res.text)
print(res.content)
print(res.json())

 1.2.1 常规用法


url = 'http://httpbin.org/post'
data = {'key1':'value1', 'key2':'value2'}
r =requests.post(url, data)
print(r)
print(r.text)
print(r.content)

"""结果
<Response [200]>
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.32.3", 
    "X-Amzn-Trace-Id": "Root=1-66cb4246-735d2da0745db93031d6070b"
  }, 
  "json": null, 
  "origin": "172.104.189.197", 
  "url": "http://httpbin.org/post"
}

b'{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "key1": "value1", \n    "key2": "value2"\n  }, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Content-Length": "23", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "httpbin.org", \n    "User-Agent": "python-requests/2.32.3", \n    "X-Amzn-Trace-Id": "Root=1-66cb4246-735d2da0745db93031d6070b"\n  }, \n  "json": null, \n  "origin": "172.104.189.197", \n  "url": "http://httpbin.org/post"\n}\n'

"""

1.2.2 JSON形式

 查看：python模块05-json-CSDN博客

1.3 发送patch请求

  • 方法：requests.patch()
  • 参数传递方式：
    • application/x-www-form-urlencoded类型参数（表单类型）：
      • 使用data进行传递
    • application/json类型参数（json类型）：
      • 使用json进行传递

请求参数也可以使用字符串,但存在解析慢，存在数据格式不通用的场景，一般是通过字典形式来传递

2 响应数据的获取

  • 方式一：text属性，自动识别编码方式进行编码
    •         data = response.text
  • 方式二：content属性，需要 定要decode方法指定编码方式解码
    •         data = response.content.decode('utf8')
  • 方式三：json方式，返回数据为json格式时，使用该方法来获取
    •          data = response.json()
  • #查看完整的url print(res.url)
  • #查看响应头部的字符编码 print(res.encoding)
  • #查看响应码 print(res.status_code)

3 指定header设置

# 发送post请求
url = "http://httpbin.org/post"
user = {
    "username": "python",
    "password": "123456"
}

#headers不仅放type还可以放其他参数
headers = {
    "content-type":"application/json"
}

# 如何发送query string
# 即使head设置为了json,但params也转换不到body中，params还是在url当中
res = requests.post(url, params=user, headers=headers)

#将参数放到body中
res = requests.post(url, data=user, headers=headers)

# form表单格式数据
print(res)
print(res.text)
print(res.content)
print(res.json())


"""结果
<Response [200]>
{
  "args": {
    "password": "123456", 
    "username": "python"
  }, 
  "data": "", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "0", 
    "Content-Type": "application/json", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.32.3", 
    "X-Amzn-Trace-Id": "Root=1-66cb5487-0a111f6318caef86485e3568"
  }, 
  "json": null, 
  "origin": "172.104.189.197", 
  "url": "http://httpbin.org/post?username=python&password=123456"
}

b'{\n  "args": {\n    "password": "123456", \n    "username": "python"\n  }, \n  "data": "", \n  "files": {}, \n  "form": {}, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Content-Length": "0", \n    "Content-Type": "application/json", \n    "Host": "httpbin.org", \n    "User-Agent": "python-requests/2.32.3", \n    "X-Amzn-Trace-Id": "Root=1-66cb5487-0a111f6318caef86485e3568"\n  }, \n  "json": null, \n  "origin": "172.104.189.197", \n  "url": "http://httpbin.org/post?username=python&password=123456"\n}\n'
{'args': {'password': '123456', 'username': 'python'}, 'data': '', 'files': {}, 'form': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '0', 'Content-Type': 'application/json', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.32.3', 'X-Amzn-Trace-Id': 'Root=1-66cb5487-0a111f6318caef86485e3568'}, 'json': None, 'origin': '172.104.189.197', 'url': 'http://httpbin.org/post?username=python&password=123456'}

"""

4 接口有鉴权怎么访问？

案例：请求需要登录才能访问的接口怎么办？

4.1 cookie + session 鉴权的接口处理？

        使用requests.session对象来发送请求

        session对象可以自动传递cookies信息（下一次请求会自动携带上次请求的cookies）

import requests
#创建session对象
sessio = requests.session()

步骤：先发请求登录，然后再请求需要鉴权的接口

import requests
s = requests.Session()

r = s.get('http://httpbin.org/cookies', cookies={'from-my':'browser'})
print(r.text)
"""结果
{
  "cookies": {
    "from-my": "browser"
  }
}
"""

r = s.get('http://httpbin.org/cookies')
print(r.text)
"""结果
{
  "cookies": {}
}
"""

#如果要手动添加cookie信息，可以属于Cookie Utility来操作
with requests.Session() as s:
    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

httpbin 是一个使用 Python + Flask 编写的 HTTP HTTP Request & Response Service。，是一个开源项目。

主要用于测试 HTTP 库

 httpbin.org

4.2 使用token鉴权的接口处理？

登录之后，提取token，保存起来

请求需要鉴权的接口时，带上登录后提取的token

5 对requests模块进行二次封装

  • 封装目的：
    •  为了使用的时候更方便提高代码的重用率
  • 封装的需求？
    •  逻辑代码进行封装的方法，关键的数据参数化
  • 哪些数据需要参数化？
    • 请求地址、请求方法、请求参数
def simple(url,
          params=None,
          data=None,
          json=None,
          method='get',
          **kwargs):
    """
    封装接口

    :return:字典 res.json()
    """
    url = url

    res = requests.request(method,
                           url ,
                           params = params,
                           data=data,
                           json = json,
                           **kwargs)

    try:
        return res.json()
    except Exception as e:
        logging.error("返回数据不是json格式：{}".format(e))
        return res.text
        return None

噗噗bug
关注
  • 18
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
「Python系列」Python requests模块
日常笔记/总结/系列知识梳理
02-29 1169
是一个用 Python 语言编写的，用于发送 HTTP 请求的库。它使得发送 HTTP 请求变得简单，无需手动添加查询字符串到你的 URL 中，或者手动处理表单的编码。请注意，禁用 SSL 证书验证会降低安全性，因为它允许你连接到不受信任的服务器。这个字典应该包含你想要设置的 HTTP 头部的名称和值。库中，你可以通过不同的参数和方法来设置超时、流式传输响应内容以及进行身份验证。如果你需要禁用 SSL 证书验证（例如，在测试环境中），你可以将。如果你不希望你的 HTTP 请求花费太多时间，你可以设置超时。
Python模块介绍-requests
遛遛马，务务农
06-12 2886
requests模块介绍
python接口篇-Requests
清微的博客
04-09 5115
python接口篇-Requests
Python解析网页-requests_html
2302_79100751的博客
05-27 1379
requests_html的基本使用 以及安装配置 代码解析
python-requests官网_requests
weixin_39996141的博客
12-11 1341
Requests: HTTP for Humans™ If you're interested in financially supporting Kenneth Reitz open source,considervisiting this link. Your supporthelps tremendously with sustainability of motivation, as...
python-requests官网_Python-Requests1-批量登录获取uid
weixin_39741459的博客
12-11 1557
需求：从表格取不同的手机号和密码登录，获取不同用户的信息，写入本地表格requests官网：https://github.com/requests/requests1、安装Requests模块1、官网下载requests包2、解压，命令行进入python目录，运行安装命令python setup.py install测试有没有安装成功,如果import没有报错就是安装成功$cd d:\python...
python---requests模块查询参数params和verity
热气球
03-06 3559
requests.get()方法中查询参数 参数名：params,数据类型未字典 作用：对url地址中的查询参数进行编码拼接 使用示例 res = requests.get(url=baseurl,params=params,headers=headers) url为基准的url地址，不包含查询参数 会自动对params字典编码，然后和url拼接 SSL证书认证参数 参数说明： 参数名 verify 参数值 True|False 适用网站： https类型网站但是没有经过证书认证机构认证的网站 适用场景 当
python爬虫02-requests库使用01
u013805267的博客
01-12 1165
梳理Python爬虫模块requests模块的基本使用。
python爬虫--requests简介
Abtxr的博客
02-06 4356
一文带你初步了解python爬虫的requests模块（适合新手上路的爬虫学习er）
python爬虫学习-requests模块和selenium模块
GW_Krystal的博客
10-07 1473
一、request模块 概念： python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用（request模块的编码流程）： 指定url 发起请求 获取响应数据 持久化存储 环境安装： pip Install requests 实战编码： 爬取搜狗首页的页面数据 import requests if __name__ == "__main__": # step 1: 指定url url = "https://www.sogou
python-requests离线包
04-15
6. `requests-2.22.0-py2.py3-none-any.whl`: 最后，这是requests库本身，版本2.22.0。这个whl文件是预编译的Python轮子包，可以直接在Python环境中安装，无需额外编译步骤。 离线包的使用方法通常是先安装Python...
python-requests-百度热搜关键字爬虫
05-10
标题“python-requests-百度热搜关键字爬虫”指的是一个使用Python编程语言，结合requests库来抓取百度搜索引擎上的热门搜索关键词的项目。requests库是Python中广泛使用的HTTP客户端库，用于发送HTTP请求，如GET和...
Python3离线安装Requests模块问题
09-18
这时，我们需要了解如何离线安装Python模块。 首先，要在外网隔离的环境中安装Python，通常需要手动下载Python安装包并将其安装到测试环境中。安装时，最好勾选将Python添加到系统的PATH环境变量中，这样就可以直接...
requests模块下载
08-21
在压缩包中，文件名 "kennethreitz-requests-083aa67" 可能表示的是 `requests` 项目的某个特定版本，其中 "083aa67" 很可能是该版本的Git提交哈希值。通过这个哈希值，我们可以追踪到该项目在GitHub上的具体更改...
Python-requests模块
12-27
Python-requests2.18.4 模块，其他的下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs，请使用request关键字在打开的页面中搜索
如何在Python中使用IP代理
最新发布
IPIPGO的博客
08-23 370
通过以上步骤，你应该已经学会了如何在Python中使用IP代理。无论是单个代理IP、带认证的代理IP，还是批量使用代理IP，这些方法都能帮助你在实际项目中灵活应用。希望这篇文章对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言，我们会尽力为你解答。t=N7T8。
常见面试问题(Python)
jiao_mrswang的博客
08-23 174
5、GIL全局解释锁。
Android笔试面试题AI答之Kotlin（20）
学无止境，止于至善
08-21 753
Elvis操作符（?:）是Kotlin（以及一些其他编程语言）中用于处理可空表达式的一种简洁方式。它允许在表达式的值为null时提供一个默认值，从而简化了空值的处理。在Kotlin中，构造函数（Constructor）是类的一个特殊方法，它用于初始化新创建的对象。与Java不同，Kotlin中的构造函数不是通过名称来定义的，而是与类名相同，并且没有返回类型（即使是void）。Kotlin支持主构造函数和次构造函数（也称为辅助构造函数或二级构造函数）。
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 904
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值