python Requests 库的基本用法

最新推荐文章于 2023-07-19 10:01:26 发布
最新推荐文章于 2023-07-19 10:01:26 发布
阅读量367 收藏
点赞数
分类专栏： Python 文章标签： python
drifter
本文链接：https://blog.csdn.net/weixin_41476014/article/details/105540897
版权

什么是requests ?

requests 是Python语言编写的，基于urllib，采用了Apache2 Licensed 开源协议的HTTP库。
它比 URLLib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。
一句话：requests 便是Python实现简单易用的HTTP库。

request 用法：

import requests
 
response = requests.get('https://www.baidu.com/') 		# 发起GET请求
print(type(response))			# 查看响应类型 requests.models.Response
print(response.status_code)		# 输出状态码
print(type(response.text))		# 输出响应内容类型 text
print(response.text)			# 输出响应内容
print(response.cookies)			# 输出cookies

requests 请求方式：

import requests
 
# 发起POST请求
requests.post('http://httpbin.org/post')
# 发起PUT请求
requests.put('http://httpbin.org/put')
# 发起DELETE请求
requests.delete('http://httpbin.org/delete')
# 发送HEAD请求
requests.head('http://httpbin.org/get')
# 发送OPTION请求
requests.options('http://httpbin.org/get')

基本GET请求
基本写法

import requests
 
response = requests.get('http://httpbin.org/get')
print(response.text)

带参数的GET请求(1)

import requests
 
response = requests.get('http://httpbin.org/get?name=germey&age=22')
print(response.text)

效果如下：

	{
	  "args": {
	    "age": "22", 
	    "name": "germey"
	  }, 
	  "headers": {
	    "Accept": "*/*", 
	    "Accept-Encoding": "gzip, deflate", 
	    "Host": "httpbin.org", 
	    "User-Agent": "python-requests/2.23.0", 
	    "X-Amzn-Trace-Id": "Root=1-5e97b85d-dfc5d314d137f9bc117c77b8"
	  }, 
	  "origin": "123.93.143.40", 
	  "url": "http://httpbin.org/get?name=germey&age=22"
	}

带参数的GET请求 (2) params

import requests
 
# 分装GET请求参数
param = {'name':'drifter','age':22}
# 设置GET请求参数(Params)
response = requests.get('http://httpbin.org/get',params=param)
print(response.text)

效果如下：

{
  "args": {
    "age": "22", 
    "name": "drifter"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-5e97b91e-eddb4ff6e19cdd5d2175ccb9"
  }, 
  "origin": "123.93.143.40", 
  "url": "http://httpbin.org/get?name=drifter&age=22"
}

2.1.4、解析json

import requests
 
response = requests.get('http://httpbin.org/get')
# 获取响应内容的类型
print(type(response.text))
# 如果响应内容是json,就将其转为json
print(response.json())
# 输出的是字典类型
print(type(response.json()))

获取二进制数据

import requests
 
response = requests.get('http://github.com/favicon.ico')
 
# str，bytes
print(type(response.text),type(response.content))
# 输出响应的文本内容
print(response.text)
# 输出响应的二进制内容
print(response.content)
# 下载二进制数据到本地
with open('favicon.ico','wb')as f:
f.write(response.content)
f.close()

添加headers（浏览器的伪装）：

import requests
 
# 设置User-Agent浏览器信息
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36"
}
# 设置请求头信息
response = requests.get('https://www.zhihu.com/explore',headers=headers)
print(response.text)

基本POST请求

import requests
 
# 设置传入post表单信息
data= {'name':'jyx','age':18}
# 设置请求头信息
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36"
}

# 设置请求头信息和POST请求参数(data，header)
response = requests.post('http://httpbin.org/post', data=data, headers=headers)
print(response.text)

响应：response属性

import requests
 
response = requests.get('http://www.jianshu.com/')
# 获取响应状态码
print(type(response.status_code),response.status_code)
# 获取响应头信息类型
print(type(response.headers),response.headers)
# 获取响应头中的cookies
print(type(response.cookies),response.cookies)
# 获取访问的url
print(type(response.url),response.url)
# 获取访问的历史记录
print(type(response.history),response.history)

效果如下：
在这里插入图片描述
状态码判断

200：请求成功，请求所希望的响应头或者数据体随此响应返回。

404：Not Found，请求失败，表示请求的资源未被在服务器上发现。整个状态可能是暂时的，也可能是永久的。所以，要做好该状态下的处理。

#coding=utf-8
 
import requests
 
def get_status(url):
    r = requests.get(url, allow_redirects = False)
    return r.status_code
    
def main():
    status=get_status('http://www.baidu.com/')
 
    if status==200:
        print "Success"
    else:
        print "Failed"
 
 
if __name__=="__main__":
    main();

requests 高级操作：
文件上传：（文件上传肯定使用post操作）

import requests

files = {'file':open('1586509745765.6008.jpg','rb')}
response = requests.post("http://httpbin.org/post",files=files)
print(response.text)

效果如下：
在这里插入图片描述
获取cookie：

import requests

response = requests.get("http://www.baidu.com")
print(response.cookies)
for key, value  in response.cookies.items():
    print(key + '=' + value)

效果如下：

/usr/local/bin/python3.7 /Users/drifter/PyCharm/plum/day-01/jupyter.py
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
BDORZ=27315

Process finished with exit code 0

会话维持（模拟登陆）：

会话不保持情况：（相当于在两个浏览器中）

import requests

requests.get('http://httpbin.org/cookies/set/number/123456789')
response = requests.get('http://httpbin.org/cookies')
print(response.text)

效果如下：
在这里插入图片描述

会话保持情况：（相当于在一个浏览器中）

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
response =s.get('http://httpbin.org/cookies')
print(response.text)

效果如下：
在这里插入图片描述
证书验证：

import requests

response = requests.get('https://www.python.org',)
print(response.status_code)

会提示：

[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1076)>

解决方法：

import requests

from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn',verify=False)
print(response.status_code)

或者手动指定一个证书（cert）
import requests

response = requests.get('https://www.12306.cn',cert=('/path/server.crt','path/key'))
print(response.status_code)

效果如下：
在这里插入图片描述
代理设置（proxies）：

import requests

proxies = {
    http: "http://127.0.0.1:9743",
    https: "https://127.0.0.1:9743",
}

response = requests.get("https://www.taobao.com",proxies=proxies)
print(response.status_code)

如果代理是有用户名和密码的情况下：

import requests

proxies = {
    http: "http://user:password@127.0.0.1:9743",
}

response = requests.get("https://www.taobao.com",proxies=proxies)
print(response.status_code)

socks代理方式 ：

pip3 install 'requests[socks]'

import requests

proxies = {
    http: "socks5://127.0.0.1:9741",
    https: "socks5://127.0.0.1:9741",

}

response = requests.get("https://www.taobao.com",proxies=proxies)
print(response.status_code)

超时设置：

import requests

response = requests.get("https://www.taobao.com",timeout=1)
print(response.status_code)

在规定时间内没有请求到URL，就报出如下错误

requests.exceptions.ReadTimeout: HTTPSConnectionPool(host=‘www.taobao.com’, port=443): Read timed out. (read timeout=0.1)

采用 ReadTimeout 报出超时错误提示，便于异常处理：

import requests
from requests.exceptions import ReadTimeout

try:
    response = requests.get("https://www.taobao.com",timeout=0.1)

    print(response.status_code)
except ReadTimeout:
    print('Timeout')

认证设置（假设一个网站需要登录验证）：

auth=HTTPBasicAuth('user','password')

本地的 Jupyter 需要密码登录
在这里插入图片描述

import requests

from requests.auth import HTTPBasicAuth
r = requests.get('http://127.0.0.1:8888',auth=HTTPBasicAuth('','96PWF@an.'))  # 

print(r.status_code)

效果如下：
在这里插入图片描述
异常处理：

import requests
from requests.exceptions import ReadTimeout,HTTPError,RequestException,ConnectionError

try:
    response = requests.get("https://hhtpbin.org/get",timeout=0.1)
    print(response.status_code)
except ReadTimeout:
    print('Time Out')
except HTTPError:
    print('htpp error')
except RequestException:
    print('ERROR')
except ConnectionError:       # 关闭网络看 ConnectionError 效果
    print('ConnectionError error')

设置timeout大小，多次执行看效果 💪

有你便为江湖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python之requests库用法
m0_66605007的博客
04-08 221
以上就是Python的requests库的用法的介绍，包括发送GET和POST请求、设置请求头、发送JSON和表单数据、设置代理、设置超时和异常处理等等。requests库是Python中用于HTTP请求的很流行的一个第三方库，它可以非常方便地完成HTTP请求的发送和响应。在本文中，我们将介绍Python的requests库的用法，包括发送GET和POST请求、设置请求头、发送JSON和表单数据、设置代理、设置超时和异常处理等等。这里的data参数需要传递一个字典，表示POST请求中要发送的数据。
Python中Requests库的用法
数据之魅的博客
03-05 887
前面讲了Python的urllib库的使用和方法，Python网络数据采集Urllib库的基本使用 ，Python的urllib高级用法 。 今天我们来学习下Python中Requests库的用法。 Requests库的安装 利用 pip 安装，如果你安装了pip包（一款Python包管理工具，不知道可以百度哟），或者集成环境，比如Python（x,y）或者anaconda的话，就可以直接
python爬虫---requests库的用法
weixin_30734435的博客
11-26 157
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 pip install requests 安装完成后import一下，正常则说明可以开始使用了。 基本用法： requests.get()用于请求目标网站，类型是一个HTTPresponse类型 import requests respons...
python中requests库的使用方法
zy_whynot的博客
04-25 647
参考资料：python中requests库使用方法详解 1、requests.session() 大部分的方法这位兄弟已经讲的分厂详细了，我就不赘述了。 我说一下在requests中非常好用的requests.session.get()或request.session.post()。大部分的web接口都会要求登录后才能访问，我们总不能每次在访问之前都先去登录，虽然可以但太麻烦。requests.s...
python中requests库的用途-Python.Requests库的基本使用
weixin_37988176的博客
11-01 2473
Requests安装使用pip安装命令：pip install requests打开cmd，输入python然后导入requests如果安装成功没有任何提示如果提示如下则说明安装失败ImportError: No module named 'requests'Requests 基础应用发送不同类型HTTP请求requests库内置了不同的方法来发送不同类型的http请求，用法如下所示：import...
Python Requests库基本用法示例
09-20
主要介绍了Python Requests库基本用法,结合实例形式总结分析了Python Requests库安装、请求发送与响应、文件下载、重定向等相关操作技巧及注意事项,需要的朋友可以参考下
Python requests库用法实例详解
09-20
主要介绍了Python requests库用法,结合实例形式分析了Request库的功能、安装、请求创建、响应等相关操作技巧,需要的朋友可以参考下
Python爬虫requests库多种用法实例
09-16
主要介绍了Python爬虫requests库多种用法实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python学习——requests库的基本用法
01-21
import requests r = requests. get('https://www.baidu.com/') print(type(r)) print(r. status_code) print (type(r. text)) print(r. text) print(r.cookies) 各种请求 # 发送一个 HTTP POST 请求： r = ...
Python-request库用法
caicaptain
06-02 2151
一、HTTP详解 二、Request主要方法 1、基本方法简介 总共有七个方法，这七个方法最后都是使用requests.request()实现。 2、Request返回 r.encoding是从头部获取的内容编码方式（r.text的编码） r.apparent_encoding 是根据内容分析出来的，两个都是为了表示内容编码方式（这个可能比较准确） 3、Request异常 4、基本方法的十三个参数 request.request(method, url, **kwargs)
关于爬虫requets库的学习笔记
weixin_45488105的博客
03-01 391
1.使用requests主要是以文本形式打印出网页信息 主要形式： url = ’ ---------’ r=requests.get(url) #构造一个向服务器请求资源的Request对象，并返回一个包含服务器资源的Respend对象 2.r.status_code ：HTTP请求的返回状态，200表示连接成功，404表示失败 r.text ：HTTP响应内容的字符串形式...
python--关于requests库的使用（一）
ESSE的博客
12-13 836
requests库在python的日常开发工作中较为常见了，无论是爬虫反向、还是处理web接口都用到了requests库，它的方法很丰富强大，以下记录的是平日里经常用到的方法： 1、HTTP HTTP，Hypertext Transfer Protocol，超文本传输协议。HTTP是一个基于“请求与响应”模式的、无状态的应用层协议，采用URL作为定位网络资源的标识。URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。 URL格式： http://host[:port][pa.
Python中requests库的用法详解
最新发布
feng的博客
07-19 3169
requests是使用Apache2 licensed 许可证的HTTP库。比urllib模块更简洁。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
python request库用法_Python学习之Requests库
weixin_39521651的博客
11-23 299
python中的Requests库是封装好的用来请求http并返回对应结果的python用具初识Requests库Requests环境准备安装piphttps://pypi.python.org/pypi/pip#downloads点击上面的连接下载pip,完成后解压到本地目录，在cmd命令行下进入解压目录执行下面命令：python setup.py install完成之后，在命令行下执行pip命...
python，requests库的使用教程
lyxylhx的博客
03-30 976
以上是一个简单的requests库的使用教程，涵盖了发送GET和POST请求，发送带参数和请求头的请求，处理响应数据以及错误处理。在这个示例中，我们定义了要发送的请求URL和要发送的请求头（一个包含User-Agent的字典）。然后，使用get()函数发送了一个带请求头的GET请求，并将响应数据保存在response变量中。然后，使用get()函数发送了一个带参数的GET请求，并将响应数据保存在response变量中。在这个示例中，我们定义了要发送的请求URL和要发送的数据（一个包含用户名和密码的字典）。
Python -- Requests库的使用
衍生星球的博客
04-21 5938
requests库的使用 1.requests库概述   requests库是一个简洁且简单的处理HTTP请求的第三方库，它的最大优点是程序编写过程更接近正常URL访问过程。这个库建立在Python 语言的 urllib3库的基础上，类似这种在其他函数库之上再封装功能、提供更友好函数的方式在Python语言中十分常见。在Python生态圈里，任何人都有通过技术创新或体验创新发表意见和展示才华的机会。requests库支持非常丰富的链接访问功能，包括国际域名和URL获取、HTTP长连接和连接缓存、HTTP会话
Python爬虫之Requests库的使用
Steven的博客
02-11 5918
初学爬虫时用的就是requests库，毕竟用起来非常简单方便，而且功能很强大，使用的范围也很广，非常适合初学者学习。对于常见的许多网站，都可以很轻松地爬取，而且也便于对更深层次的学习打好基础。 准备工作 第三方库，采用pip可以很方便地安装： pip install requests 初步使用 requests的使用比urllib要简单且简短一点，获取网页信息直接采用 get() 方法： im...
python中requests库使用方法详解
每一个不曾起舞的日子，都是对生命的辜负
11-06 717
1、标准的restful接口调用 (1)requests.post方法调三方接口（用的是data） r = requests.post(url + 'company/add_friend/', data={'id': zid, 'com_key': com_key}) # 这一步将返回值转成json key = json.loads(r.text) (2...
python requests库用法
04-11
Python Requests 库是一个用于向网络资源发送 HTTP 请求的第三方库。它可以发送 GET、POST、PUT、DELETE 等类型的 HTTP 请求，并且支持处理 Cookie、重定向、SSL 认证等常见的功能。使用它可以方便地抓取网页数据，例如爬虫、数据挖掘等应用场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值