requests的使用方法

最新推荐文章于 2022-07-28 18:59:35 发布
最新推荐文章于 2022-07-28 18:59:35 发布
阅读量2.5k 收藏 5
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lemon_review/article/details/119619013
版权
这篇博客详细介绍了如何使用requests库进行网络请求，包括GET和POST请求、设置请求头、添加User-Agent和cookie、JSON数据解析、图片爬取以及通过选择器提取数据。以豆瓣Top250爬取为例，展示了实战应用。
摘要由CSDN通过智能技术生成

requests的使用方法

直接获取

import requests

python基于HTTP协议进行网络请求的第三方库

发送请求
1、requests.get(url, *, headers, params, proxies) — 发送get请求

​ 2、requests.post(url, *, headers, params, proxies) — 发送post请求
​
参数:

​ url — 请求地址(一个网站的网址、接口的地址、图片地址等)

​ headers — 设置请求头(设置cookie和UserAgent)

​ params — 设置参数

​ proxies — 设置代理

发送get请求参数直接拼接到URL中

response = requests.get('http://api.tianapi.com/auto/index?key=c9d408fefd8ed4081a9079d0d6165d43&num=10')

发送post请求，参数设置在params

params = {
   
    'key':'c9d408fefd8ed4081a9079d0d6165d43',
    'num':10
}

response = requests.post('http://api.tianapi.com/auto/index',params = params)

response = requests.get('http://www.yingjiesheng.com/')

设置编码方式(乱码的时候才需要设置在控制台head标签中查看编码方式)

response.encoding = 'GBK'

获取响应头信息

print(response.headers)

获取响应体

# a.获取text值(用于请求网页，直接拿到网页源代码)
print(response.text)

# b.获取json解析结果(用于返回json数据的数据接口)
print(response.json())

# c.获取content值(获取二进制类型的原数据,用于图片、视频、音频的下载)
print(response.content)

添加请求头

添加User-Agent
headers = {
   
    # 伪装为浏览器访问
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36'
}

获取网页数据

response = requests.get('https://www.51job.com/',headers = headers)
添加cookie

需要登录才能进入的网页添加

headers = {
   
    # 伪装为浏览器访问
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36',
    # 跳过登录
    'cookie':'_zap=1667ed8e-6095-4318-89ec-330c6ef0b8ee; d_c0="AMCve_TnZRCPTh3LhiwHGSuGFq7l4XAr6UE=|1574496707"; _ga=GA1.2.1669928704.1583753947; _9755xjdesxxd_=32; YD00517437729195%3AWM_TID=4dmOpmKKlNhAEUAEBUYqyFtCZ219gaGq; __snaker__id=iRbYMmY5zvFTkQUm; _xsrf=W3e22M3aL6nZ9ZTPAfuxTjelvXUcstnM; YD00517437729195%3AWM_NI=OdDI%2FzdmzhFqywo4cAVWWYPWnNiJrU6p%2FZ6OQ%2BjdzwAOU6Hhd3ew%2Fym8NqBmEq2q%2BwGmAfs605pBNi%2FWHBKGmL9J9OsMdf%2FEaRsTp9tJRBthnh%2Fi3b5l6HTOzQca8GmWSng%3D; YD00517437729195%3AWM_NIKE=9ca17ae2e6ffcda170e2e6eea6d880e98ba7afcd68f79a8bb3c44b979f9a85f573aceebe97ca6598b9ba91fb2af0fea7c3b92a8dbc8caaae72a8b3b689c57bbba9a1d5e24b968999bad35dae92a7abf15ff6b0e1bbb54593f5a685f97d83919bd7cb64a8edab98ae73afe88292c16787affe92aa7d85b38f87f23ef4ebc0a3cd63ed8988a3ca4daf94f7abbc45b193ac87ae4fa38ebdb5f333b8969ea3f764aeb8e18ab26af7b4faa9d745ba8fad82bb4daf899d8fe637e2a3; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1628255651,1628596803,1628599663,1628664693; SESSIONID=TTagVSrOcand6lnQK3Tx9P3QfIUJQzCSuwiM8mBdAez; JOID=UFgVB07VQ9GbCjEQQ9PWTZvaJpBQgxe0_VtgYgixIL_7PVp8EqM0x_wPMxRG_xEMMhp1TrjTjeBgzXIl0sn6nZM=; osd=U1sVBEjWQNGYDDITQ9DQTpjaJZZTgBe3-1hjYgu3I7z7Plx_EaM3wf8MMxdA_BIMMRx2TbjQi-NjzXEj0cr6npU=; gdxidpyhxdE=Os7BNOHW1sAPAdCRxVjImRb%5CwvHiXuqyeKWE%2BDdcs5%2Fx4LeRYQ56kPLuEZUvnGyGU0vPHAv35sZ3GWqnI2bOR8Udxg5iLXq6fNMuqkowIZ2Z2%5CZOCRh3PvZu3NluLjDKO9H0HSCg0iYDEXUrbPrKDZ4iZsPvjwbC5pHrj4Niel4djY9B%3A1628665594139; r_cap_id="2|1:0|10:1628664703|8:r_cap_id|44:YWI1NDJjZWMyN2NkNDI3MGI2YWQ3MWFkOTNlYzUwN2Q=|0ac1b35368b1b87333d0d8910f9b90e172f777bd7aba8b213955aeb522ebbf3a"; l_n_c=1; cap_id="ZDM0MjhjMmEyN2Y3NDM4ZGIxMzM2YTY4NThmMThjOTE=|1628664713|5484319ad8db598aff3bdfce4d09effda9863624"; l_cap_id="ZjAwNTAzNjA3YzlmNDUzNWIyN2Y1OWE3M2VmZjFhOWI=|1628664713|eb132e13718f49ec0e33cb23468ea33d39b1027e"; n_c=1; atoken=D6D67B4069B60CE4499DFCBCDA83299B; atoken_expired_in=7776000; client_id="OUQxOTkwRTI4MTQUM3RDQzRTM1M0U=|1628664722|80c987621bc12b757cf3578041cfe972142d55ee"; capsion_ticket="2|1:0|10:1628664723|14:capsion_ticket|44:NWJjNDFjMmIwMzBiNGYyMTg4NTA1MWYxNWFkNjFmYmU=|4393e57fcf2fc0719cfac5005f054d90f3a79973be8d3633fa2dffc23e7231a1"; captcha_session_v2="2|1:0|10:1628664888|18:captcha_session_v2|88:QWUweXlmcXNHeGVBcTJMRXlDcVZmSWdEQW1rdEhrNTdlUXhGYThobm8xalZ3SUNwUmxiM2FoM2diTTBIWnJjSw==|d3176dd52a4897549525550efa2ff752507bb7b98c8db2563812f2b91f51ca6d"; captcha_ticket_v2="2|1:0|10:1628665001|17:captcha_ticket_v2|704:eyJ2YWxpZGF0ZSI6IkNOMzFfSkpWQ243QVFzVlJ0QnFoaElrMUdJSFouY1M0VTFndVZIS0RpT
最低0.47元/天 解锁文章
HoneyGrapefruit
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Requests使用
Ly_LittleStar的博客
10-17 1145
requests主要的用法： 发送get，post请求 定义请求头 参数url，form-data，json 响应，content，text，json 怎么处理token，session 封装通用的请求接口的函数 jmeter，postman可以用来访问接口，requests也是用来访问接口，作用是相同的，都是http客户端。 requests是第三方库，需要安装：pip install requests 学习requests之前，先来简单了解下flask创建接口（pip install f
Requests 使用介绍
qq_22003641的博客
03-20 4117
一、什么是RequestsRequests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。Requests 允许你发送 HTTP/1.1 请求，无需手工劳动。你不需要手动为 URL 添加查询字串，也不需要对 POST 数据进行表单编码。Keep-alive 和 HTTP 连接池的功能是 100% 自动化的，一切动力都来自于根植在 Reque...
requests用法
zhaotun123的博客
12-01 266
headers
爬虫库分享(一)：requests常见用法总结
LW的技术小筑
03-05 2526
一.前言 requests是Python中一个用来发出HTTP请求的库，它将复杂的网络请求封装为一个简单的API以供用户调用，对于一般比较简单的爬虫程序而言，requests库足矣，今天博主分享一下requests库的常见用法，本文主要针对有志爬虫的新人。 二.常见用法 2.1 安装与引用 当然，在使用前需要在Python环境中安装requests库： pip install requests 安装完成后便可以通过import命令即可引用该库： import requests 2.2 GET请求 HTT
requests模块的使用详解
自成背后的博客
10-04 6766
文章目录为什么要重点学习requests模块，而不是urllibrequests模块发送简单的get请求、获取响应使用requests保存图片发送带header的请求url 带参数的两种请求方式使用requests发送POST请求代理ip的使用爬虫中使用cookie 为什么要重点学习requests模块，而不是urllib requests的底层实现就是urllib requests在python2 和python3中通用，方法完全一样 requests简单易用 Requests能够自动帮助我们解压(gz
python中requests模块的使用方法
12-23
本文实例讲述了python中requests模块的使用方法。分享给大家供大家参考。具体分析如下： 在HTTP相关处理中使用python是不必要的麻烦，这包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2,Kenneth ...
python中requests使用代理proxies方法介绍
12-25
如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求: import requests proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } requests.get(...
python中数据爬虫requests库使用方法详解
01-20
一、什么是Requests Requests 是Python语编写，基于urllib，采Apache2 Licensed开源协议的 HTTP 库。...直接上代码，不明白可以查看我的urllib的基本使用方法 import requests requests.post('http://httpb
Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解
09-17
1. **requests模块的基本使用** - **导入模块**：首先，你需要通过`import requests`来引入requests模块。 - **发送请求**：最基本的GET请求可以通过`requests.get(url)`实现，例如获取GitHub主页的HTML内容。若需...
一篇文章带你掌握requests基本用法
皮皮鱼哟
12-21 2175
文章目录一、requests简介及安装1. 简介2. 安装二、requests使用方法介绍1. GET请求 一、requests简介及安装 1. 简介 Requests库是由python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，它在做网络请求上会比urllib使用更加方便。 2. 安装 直接使用pip安装即可 pip install requests...
Python Requests 库学习笔记
04-11 127
概览 实例引入 import requests response = requests.get('https://www.baidu.com/') print(type(response)) print(response.status_code) print(type(response.text)) print(response.text) print(response.cookies)...
Python爬虫学习（4）：requests库的使用
qq_41817925的博客
03-05 1064
一、介绍 Requests是用Python语言编写，基于Urllib，采用Apache2 Licensed开源协议的HTTP库。比Urllib更加方便。 二、安装requests库 Win+R输入cmd，打开命令行窗口，输入命令安装：pip install requests 三、使用方法 1、requests库的两个重要对象 r = requests.get(url) r：是一个Response对象，一个包含服务器资源的对象 .get(url)：是一个Request对象，构造一个向服务器请求资源的Reque
requests 库使用
icanactnow
09-20 282
import requests s = requests.Session() #传递url参数 dic = {'key1':'value1','key2':'value2','key3':['value3','value4']} r1 = requests.get('http://httpbin.org/get',params = dic) print(r1.url)#http://httpbin
requests用法基础-进阶
在长期主义之路上，与伟大格局观者同行，做时间的朋友。
11-01 1361
本节内容 模块的安装 -----------------------基础用法--------------------- GET用法、POST用法 -----------------------进阶用法-------------------- cookie处理、代理ip、session 一 模块安装： 1). 安装requests包还是很方便的，电脑中有python环境，打开cmd,...
教程 | Requests的基本用法
机器学习算法与Python学习
04-26 2430
下面我就给大家整理了Requests库的使用方法和细节。什么是RequestsRequests是Python语言编写，基于urllib3，采用Apache2 Licens...
requests 用法
人生苦短，何妨一试
07-28 412
requests 用法
接口测试 requests的基本用法
zhusongziye的博客
04-17 2487
requests的官方文档：http://cn.python-requests.org/zh_CN/latest/requests是一个处理http请求的第三方库，所以，要了解requests的用法，需要先了解http协议，了解http协议的方法请出门右转。看一下requests支持的web特性，根据运用过程中的需要去查看requests的官方文档或者搜索吧。requests支持的web特性Kee...
【Python3网络爬虫开发实战】 3.2.1-基本用法
华为云官方博客
07-04 1357
【摘要】 在开始之前，请确保已经正确安装好了requests库。如果没有安装，可以参考1.2.1节安装。 1. 准备工作 在开始之前，请确保已经正确安装好了requests库。如果没有安装，可以参考1.2.1节安装。 2. 实例引入 urllib库中的urlopen()方法实际上是以GET方式请求网页，而requests中相应的方法就是get()方法，是不是感觉表达更明确一些？下面通过实例...
Requests用法
weixin_43927138的博客
05-31 471
安装Requests模块：pip install requests 首先要导入 Requests 模块： import requests 尝试获取某个网页： a = requests.get(‘https://www.baidu.com’) 这样就有了一个名为a的Response对象。我们可以从这个对象中获取所有我们想要的信息。 Requests 简便的 API 意味着所有 HTTP 请求...
python3 requests 使用方法
最新发布
04-02
Python3 requests 是一个 HTTP 库，可以让你以简单的方式发送 HTTP/1.1 请求。它支持 HTTP/1.1 和 HTTPS，并且对 HTTP/2 也有一些支持。使用 requests 库可以方便地获取网页内容、发送 POST 和 GET 请求、上传文件、处理 cookies 等。 下面是使用 Python3 requests 库的基本步骤： 1. 安装 requests 库： 在命令行中输入以下命令： ``` pip3 install requests ``` 2. 导入 requests 库： 在 Python3 代码中导入 requests 库： ``` import requests ``` 3. 发送 GET 请求： 使用 requests 库发送 GET 请求的基本语法为： ``` response = requests.get(url) ``` 其中，url 是请求的网址，response 是服务器响应的对象。 例如： ``` import requests response = requests.get('http://www.baidu.com') print(response.text) ``` 上面的代码会发送一个 GET 请求到百度的网址，然后将服务器响应的内容打印出来。 4. 发送 POST 请求： 使用 requests 库发送 POST 请求的基本语法为： ``` response = requests.post(url, data=data) ``` 其中，url 是请求的网址，data 是请求的数据，可以是字典、元组列表、JSON 等。 例如： ``` import requests data = {'username': 'test', 'password': '123456'} response = requests.post('http://www.example.com/login', data=data) print(response.text) ``` 上面的代码会发送一个 POST 请求到 http://www.example.com/login 的网址，然后将服务器响应的内容打印出来。 5. 上传文件： 使用 requests 库上传文件的基本语法为： ``` response = requests.post(url, files=files) ``` 其中，url 是请求的网址，files 是要上传的文件。 例如： ``` import requests url = 'http://www.example.com/upload' files = {'file': open('example.png', 'rb')} response = requests.post(url, files=files) print(response.text) ``` 上面的代码会上传 example.png 文件到 http://www.example.com/upload 的网址，然后将服务器响应的内容打印出来。 6. 管理 cookies： 使用 requests 库管理 cookies 的基本方法为： ``` import requests # 发送请求时带上 cookies cookies = {'name': 'value'} response = requests.get('http://www.example.com', cookies=cookies) # 获取响应的 cookies cookies = response.cookies ``` 上面的代码会在发送请求时带上 cookies，并在响应中获取 cookies。 以上就是使用 Python3 requests 库的基本步骤。除了上面介绍的功能，requests 库还支持代理、SSL 验证、连接池等高级功能，可以根据具体需求进行调用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值