Python-requests库的学习与使用举例_python中request库学习实例

最新推荐文章于 2024-05-19 11:09:09 发布
最新推荐文章于 2024-05-19 11:09:09 发布
阅读量832 收藏 22
点赞数 11
分类专栏： 2024年程序员学习 文章标签： python 学习 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uftdv17136/article/details/137900835
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）
img

正文

POST请求

函数
post(url, data=None, json=None, **kwargs)

url:请求的url

data:请求时的数据，字典、元组列表、字节或类似文件

json：json数据

代码
def Post():
    data = {'bupt': 'beijing university of posts and communication', 'age': '65'}
    req = requests.post(URL_POST, data=data)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    print("text:", req.text)
    print("json:", req.json())
    req.close()
结果

url: http://httpbin.org/post
状态码: 200
cookies <RequestsCookieJar[]>
text: {
  “args”: {},
  “data”: “”,
  “files”: {},
  “form”: {
    “age”: “65”,
    “bupt”: “beijing university of posts and communication”
  },
  “headers”: {
    “Accept”: “*/*”,
    “Accept-Encoding”: “gzip, deflate”,
    “Content-Length”: “57”,
    “Content-Type”: “application/x-www-form-urlencoded”,
    “Host”: “httpbin.org”,
    “User-Agent”: “python-requests/2.23.0”,
    “X-Amzn-Trace-Id”: “Root=1-5f845f63-5103e9761cd94b3b1c9905f3”
  },
  “json”: null,
  “origin”: “59.64.129.128”,
  “url”: “http://httpbin.org/post”
}

json: {‘args’: {}, ‘data’: ‘’, ‘files’: {}, ‘form’: {‘age’: ‘65’, ‘bupt’: ‘beijing university of posts and communication’}, ‘headers’: {‘Accept’: ‘*/*’, ‘Accept-Encodin
g’: ‘gzip, deflate’, ‘Content-Length’: ‘57’, ‘Content-Type’: ‘application/x-www-form-urlencoded’, ‘Host’: ‘httpbin.org’, ‘User-Agent’: ‘python-requests/2.23.0’, ‘X-Amzn
-Trace-Id’: ‘Root=1-5f845f63-5103e9761cd94b3b1c9905f3’}, ‘json’: None, ‘origin’: ‘59.64.129.128’, ‘url’: ‘http://httpbin.org/post’}

高级

有的时候我们往往需要登录才有权限发送请求，而账户信息一般会保存在Cookie中。

cookies设置

可以抓包获得cookie

也可以通过F12，在控制台输入document.cookie来获得。

浏览器查看

代码

def Get_with_cookie():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
    Chrome/52.0.2743.116 Safari/537.36'
    }
    cookies = {'BIDUPSID': 'BE00784DEDAD866ECD4C82326FD62EAB', ' PSTM': '1554688108', ' MCITY': '-%3A',
               ' ispeed_lsm': '0', ' BAIDUID': '1588105DA2B8508F2F85540F7FC96277:FG', ' H_PS_PSSID': '',
               ' BDRCVFR[NPt2Vg_wYt_]': 'mk3SLVN4HKm', ' delPer': '0', ' BD_CK_SAM': '1', ' PSINO': '2',
               ' BD_UPN': '13314752', ' sug': '3', ' sugstore': '0', ' ORIGIN': '0', ' bdime': '0',
               ' H_PS_645EC': '6c6bmTTznHXowtzIVMcI9ybyItnOQcEc5yoROOp7O7Q4a0FQWI7CHETQrdW05P4yg3zuSFV3',
               ' BA_HECTOR': '24a4800l810k25k1ur1fo8obe0j', ' BDORZ': 'FFFB88E999055A3F8A630C64834BD6D0'}
    req = requests.get(URL_COOKIE, headers=headers, cookies=cookies)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    with open('ask_baidu_requets.html', 'w',encoding='utf-8') as f:
        f.write(req.text)
    req.close()

控制台输出

url: https://www.baidu.com/s?tn=02003390_hao_pg&ie=utf-8&wd=requests
状态码: 200
cookies <RequestsCookieJar[<Cookie BAIDUID=1588105DA2B8508F2F85540F7FC96277:FG=1 for .baidu.com/>, <Cookie BDRCVFR[NPt2Vg_wYt_]=mk3SLVN4HKm for .baidu.com/>, <Cookie H_
PS_PSSID= for .baidu.com/>, <Cookie PSINO=2 for .baidu.com/>, <Cookie delPer=0 for .baidu.com/>,

生成的文件

文件浏览器查看

超时设置

timeout参数

这个时间只限制请求的时间。

代码

def Get_with_timeout():
    req = requests.get('http://github.com', timeout=0.001)
    print(req.text)

结果

全部代码

"""
--coding:utf-8--
@File: learnrequests.py
@Author:frank yu
@DateTime: 2020.10.12 17:10
@Contact: frankyu112058@gmail.com
@Description:
"""
import requests

URL_GET = "http://httpbin.org/get"
URL_POST = "http://httpbin.org/post"
URL_COOKIE = "https://www.baidu.com/s?tn=02003390_hao_pg&ie=utf-8&wd=requests"


def Get():
    payload = {"lady": "killer", "key": "9"}
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
    Chrome/52.0.2743.116 Safari/537.36'
    }
    req = requests.get(url=URL_GET, params=payload, headers=headers)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    print("text:", req.text)
    print("json:", req.json())
    req.close()


def Post():
    data = {'bupt': 'beijing university of posts and communication', 'age': '65'}
    req = requests.post(URL_POST, data=data)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    print("text:", req.text)
    print("json:", req.json())
    req.close()


def Get_with_cookie():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
    Chrome/52.0.2743.116 Safari/537.36'
    }
    cookies = {'BIDUPSID': 'BE00784DEDAD866ECD4C82326FD62EAB', ' PSTM': '1554688108', ' MCITY': '-%3A',
               ' ispeed_lsm': '0', ' BAIDUID': '1588105DA2B8508F2F85540F7FC96277:FG', ' H_PS_PSSID': '',
               ' BDRCVFR[NPt2Vg_wYt_]': 'mk3SLVN4HKm', ' delPer': '0', ' BD_CK_SAM': '1', ' PSINO': '2',
               ' BD_UPN': '13314752', ' sug': '3', ' sugstore': '0', ' ORIGIN': '0', ' bdime': '0',
               ' H_PS_645EC': '6c6bmTTznHXowtzIVMcI9ybyItnOQcEc5yoROOp7O7Q4a0FQWI7CHETQrdW05P4yg3zuSFV3',
               ' BA_HECTOR': '24a4800l810k25k1ur1fo8obe0j', ' BDORZ': 'FFFB88E999055A3F8A630C64834BD6D0'}
    req = requests.get(URL_COOKIE, headers=headers, cookies=cookies)
    print("url:", req.url)
    print("状态码:", req.status_code)
    print("cookies", req.cookies)
    with open('ask_baidu_requets.html', 'w', encoding='utf-8') as f:
        f.write(req.text)
    req.close()


def Get_with_timeout():
    req = requests.get('http://github.com', timeout=0.001)
    print(req.text)


if __name__ == "__main__":
    # Get()
    # Post()
    # Get_with_cookie()
    Get_with_timeout()

更多python相关内容：【python总结】python学习框架梳理

本人b站账号:lady_killer9

有问题请下方评论，转载请注明出处，并附有原文链接，谢谢！如有侵权，请及时联系。如果您感觉有所收获，自愿打赏，可选择支付宝18833895206（小于），您的支持是我不断更新的动力。

学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：
在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

29f1415a9e35662316578e07.png#pic_center)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
[外链图片转存中…(img-zcjpIe4O-1713394260246)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

uftdv17136
关注
  • 11
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习笔记(10):21天搞定分布式Python网络爬虫-requests库-使用代理
12-22
Requests使用代理时出错，网上搜索了一下，原来是代理IP地址前面要加http:// 正确代码： import requests proxy = { 'http':'http://114.228.73.217:6666' } url = 'http://www.httpbin.org/ip' resp = requests....
docs-python-requests-org-cn-zh_CN-latest.zip
04-21
中文文档
最新Python-requests库的学习与使用举例_python中request库学习实例
2401_84297265的博客
05-02 717
实际访问的url已经添加了参数，也就是说，你可以不使用params参数，而是直接在url上面添加。有的时候我们往往需要登录才有权限发送请求，而账户信息一般会保存在Cookie中。也可以通过F12，在控制台输入document.cookie来获得。data:请求时的数据，字典、元组列表、字节或类似文件。这个时间只限制请求的时间。json格式是比较常用的。可以抓包获得cookie。状态码请查看上面的文章。json：json数据。text是请求的结果。url:请求的url。
Python-requests库的学习与使用举例_python中request库学习实例(2)
m0_60452293的博客
05-13 869
前段时间写了个爬虫，抓取了b站视频的弹幕——张大仙弹幕统计，仙友们来看看有没有你的弹幕吧！，最近经常写网络编程的脚本，就想好好学一下requests库常用的部分内容。另外，中文版的翻译一言难尽，建议看英文版。中文文档首页网络-http协议学习笔记（消息结构、请求方法、状态码等）
Python-requests库的学习与使用举例
关注网络安全、云原生安全
10-12 1352
目录 前言 安装 请求 GET请求 函数 代码 结果 POST请求 函数 代码 结果 高级 cookies设置 超时设置 全部代码 前言 前段时间写了个爬虫，抓取了b站视频的弹幕——张大仙弹幕统计，仙友们来看看有没有你的弹幕吧！，最近经常写网络编程的脚本，就想好好学一下requests库常用的部分内容。另外，中文版的翻译一言难尽，建议看英文版。 中文文档首页 在读本文前，你需要了解http及https协议，如果你还不了解，可以查看：网络-http协议学习笔记（消息结构
最新Python-requests库的学习与使用举例_python中request库学习实例，2024年最新那些被大厂优化的程序员们
2401_84281638的博客
05-14 751
前段时间写了个爬虫，抓取了b站视频的弹幕——张大仙弹幕统计，仙友们来看看有没有你的弹幕吧！，最近经常写网络编程的脚本，就想好好学一下requests库常用的部分内容。另外，中文版的翻译一言难尽，建议看英文版。中文文档首页网络-http协议学习笔记（消息结构、请求方法、状态码等）
Python-requests库的学习与使用举例_python中request库学习实例(1)
m0_60452293的博客
05-13 901
前段时间写了个爬虫，抓取了b站视频的弹幕——张大仙弹幕统计，仙友们来看看有没有你的弹幕吧！，最近经常写网络编程的脚本，就想好好学一下requests库常用的部分内容。另外，中文版的翻译一言难尽，建议看英文版。中文文档首页网络-http协议学习笔记（消息结构、请求方法、状态码等）
python urllib库与request s库_【Python爬虫】HTTP基础和urllib库、requests库的使用
weixin_35927318的博客
12-24 338
引言：一个网络爬虫的编写主要可以分为三个部分：1.获取网页2.提取信息3.分析信息本文主要介绍第一部分，如何用Python内置的库urllib和第三方库requests库来完成网页的获取。阅读完本文后，读者将能利用这2个库获取一个网页的HTML代码。但是首先，我们需要一点网络方面的基本知识，才能更好的理解爬虫。为此，读者应该理解以下知识：1.什么是HTTP，HTTP报文及其格式2.请求报文的几种方...
python - requests 库的学习
BeanBag
03-06 81
文章目录使用 Requests 发送网络请求一、安装：二、模拟简单的 HTTP 请求：a、传递 URL 参数：b、定制请求头 `headers`三、响应内容：a、二进制响应内容：b、Json响应内容：三、cookie 持久化： 使用 Requests 发送网络请求 一、安装： pip install requests # pipenv 安装 pipenv install request 导入 ...
python2 requests模块_python学习笔记（二）——requests模块
weixin_39976153的博客
12-03 180
python的requests模块是爬虫的基本模块，让我们看看怎么用！参考：Python3 网络爬虫开发实战介绍Requests 模块是一个用于网络访问的模块。就像这个url：https://www.baidu.com，如果我们想获取这个url的网页源代码，requests模块可以帮我们实现，甚至可以帮我们获取到更多更多的信息。URL介绍URL 的一般语法格式为：protocol :// host...
【python爬虫基础入门】python爬虫requests库使用操作全解
热门推荐
Freedom_Blue的博客
05-16 2万+
文章目录一.HTTP协议1. HTTP协议的框架2. HTTP协议对资源的操作3. 用户对HTTP协议的操作二.requests库的安装三.requests库的7个主要使用方法1.方法的解析2.方法的使用1) get方法使用2) head方法的使用3) post方法的使用3. requests库的异常处理四.爬取网页的通用代码框架五.requests库爬虫实例1. 对京东商品页面的爬取2. 百度/...
Python库 | couchdb-python-requests-0.3.tar.gz
05-13
资源分类：Python库 所属语言：Python 资源全名：couchdb-python-requests-0.3.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python之Requests_html库入门篇（含实例）
12-21
Requests_html库入门学习安装基本用法获取网页获取连接获取元素元素内容实例 爬取51jobs网站有关Python工作的信息requests_html官方链接 安装 pip install requests_html 如果还不会pip安装的请看这篇文章——>pip ...
Python库 | requests_toolbelt-0.9.0-py2.py3-none-any.whl
05-10
资源分类：Python库 所属语言：Python 资源全名：requests_toolbelt-0.9.0-py2.py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
使用Python操作excel单元格——在单元格中插入公式
xll_007的博客
05-16 418
使用Python操作excel单元格——在单元格中插入公式。 通过使用Python的openpyxl库，来操作excel单元格，在单元格中插入公式的操作。把学习的过程分享给大家。大佬勿喷！
geopandas快速入门报错1
最新发布
weixin_45213317的博客
05-19 209
报错：CRSError: Invalid projection: EPSG:4326: (Internal Proj Error: proj_create: no database context specified)解决方法：重新下载适合自己Python版本的pyproj安装。
Gradio 案例——将 dicom 文件转为 nii文件
蒋含竹的博客
05-15 410
Gradio 的WEB界面案例：利用 SimpleITK 库，将 dicom 文件转为 nii文件
使用XPath来解析网页数据
2301_80263861的博客
05-18 789
首先是定位到超链接为“link4.html”的 a 标签，然后向上翻一级，也就是到了 li 元素，然后再查找这个 a 标签对应的 li 的 class 属性值，即最后的输出为[‘item-1’]第一种是访问class属性为“item-0”的 li 标签下的文字，但是在这行代码里面，li 标签的下一级是 a 标签，没有文字，只有换行符，所以输出也就是['\n ']获取class属性值含 “li” 和 name 属性值为 “item” 的 li 标签下的 a 标签的文字部分。
python中requests库中request如何使用，具体细节
03-28
requests库中的request方法用于向指定的URL发送HTTP请求。它接受以下参数： - method: 请求方法，例如GET、POST等。 - url: 请求的URL。 - params: 请求参数，可以是字典、元组列表或字节流。 - data: 请求体，可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值