bugku 细心（爬虫协议，x-forward-for）

最新推荐文章于 2021-02-15 12:48:29 发布
最新推荐文章于 2021-02-15 12:48:29 发布
阅读量413 收藏
点赞数
分类专栏： ctf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wssmiss/article/details/96466467
版权
博客分析了一道bugku平台的题目，涉及爬虫协议和X-Forward-For头信息的使用。通过查看robots.txt文件发现禁止搜索引擎收录resusl.php页面，手动访问时因IP被封禁而无法直接访问。通过设置X-Forward-For为127.0.0.1，并尝试使用payload '/resusl.php?x=admin'，成功获取到flag。
摘要由CSDN通过智能技术生成

题目

在这里插入图片描述

分析

查看源代码没有有效信息
御剑扫一下后台发现robots.txt
在这里插入图片描述
打开robots.txt 是一个爬虫协议

在这里插入图片描述
声明所有搜索引擎禁止收录本站的resusl.php

手动打开此页面
在这里插入图片描述

提示ip被封，那我们就用本地ip访问试试
加入X-Forward-For：127.0.0.1
根据最后一行提示，猜测x的值可能为admin
payload:
/resusl.php?x=admin
-Forward-For：127.0.0.1
在这里插入图片描述
拿到flag

wssmiss
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
抓包理解X-Forwarded-For和proxy_add_x_forwarded_for
Default
05-24 6358
目录 1.nginx.conf设置指令 2.发送请求，无请求头域X-Forwarded-For 3.发送请求，有请求头域X-Forwarded-For 4.理解 1.nginx.conf设置指令 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 2.发送请求，无请求头域X-Forw...
python伪造请求头x-forwarded-for的作用_Pyspider中给爬虫伪造随机请求头的实例
weixin_39788131的博客
01-14 589
Pyspider 中采用了 tornado 库来做 http 请求，在请求过程中可以添加各种参数，例如请求链接超时时间，请求传输数据超时时间，请求头等等，但是根据pyspider的原始框架，给爬虫添加参数只能通过 crawl_config这个Python字典来完成(如下所示)，框架代码将这个字典中的参数转换成 task 数据，进行http请求。这个参数的缺点是不方便给每一次请求做随机请求头。cra...
F5XForwardedFor
06-19
支持 IIS 在日志中显示 Squid、Apache 等反向代理
bugku 管理员的系统（X-forwarded-for）
wssmiss的博客
07-21 265
管理员的系统 猜测应该要使用本地ip访问 想到XFF，详细知识请移步大佬网页 于是用burpsuit抓包，抓包后改写报头，加入X-Forward-For：127.0.0.1 伪造是本地ip请求服务器 之后在这里卡了很久，没有其他线索，也拿不到flag，直到，，，我打开了网页源代码！！！ base64解码后test123猜测可能是管理员密码 Go一下，得到flag ...
X-Forwarded-For绕过服务器IP地址过滤
公众号shadow sock7
06-03 1万+
参考： http://www.jianshu.com/p/98c08956183d https://github.com/bl4de/ctf/blob/master/2017/nullcon_HackIM_2017/Web1.md看到一个CTF题中有一个与X-Forwarded-For有关的。 通过在HTTP头中设置X-Forwarded-For: 127.0.0.1在正常的TCP 通信中，是
基于nodejs的知乎爬虫，x-zse-96，支持文章，评论，图片下载到本地.zip
最新发布
01-19
遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施...
最新小红书x-s参数x-t参数
06-16
最新小红书x-s参数x-t参数、爬虫、python、小红书、反爬虫
且慢基金投资组合爬虫，自动更新x-sign
06-22
且慢基金投资组合爬虫。
计算机-爬虫-搜索引擎爬虫协议的竞争法分析.pdf
07-09
搜索引擎爬虫协议的竞争法分析 计算机领域中的爬虫协议（Robots 协议）是一种网络服务商可以设立的电子文件，旨在向搜索引擎示明哪些内容可以抓取，而搜索引擎则可以读取该文件来识别所在页面是否允许被抓取。然而...
python自学爬虫之requests-html.md
08-16
自学爬虫，采用requests-html框架
x-forward-for和逻辑漏洞
weixin_48776804的博客
02-15 869
x-forward-forX-Forwarded-For逻辑漏洞 X-Forwarded-For （XFF）是用来识别ip地址 使用sqlmap跑 包的内容 POST /index.php HTTP/1.1 Host: 219.153.49.228:42344 X-Forwarded-For:127.0.0.1* User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0 Accept:
X-Forwarded-For 学习
weixin_43460822的博客
09-17 889
** 定义 ** X-Forwarded-For（XFF）是用来识别通过HTTP代理或负载均衡方式连接到Web服务器的客户端最原始的IP地址的HTTP请求头字段。 ** 格式编辑 ** 这一HTTP头一般格式如下: X-Forwarded-For: client1, proxy1, proxy2, proxy3 其中的值通过一个 逗号+空格 把多个IP地址区分开, 最左边(client1)是最原始...
python3-requests伪造x-forwarded-for以及解决
thewindkee的博客
01-11 7408
通常，我们的服务器会有一级或者多级的反向代理， 因此我们代码中拿remote_addr会取到最后一级反向代理的ip。为了拿到真实ip,常常会去x-Forward-For中拿用户最后一级代理Ip。但是由于该值是header中的， 直接去取可能取到用户伪造的Ip。 x-forwarded-for资料 这一HTTP头一般格式如下: X-Forwarded-For: client1, proxy1...
x-forward-for获取客户端真实ip
热门推荐
na_tion的专栏
06-22 3万+
文章来源：http://www.360doc.com/myfollow.aspx 先来看一下X-Forwarded-For的定义： X-Forwarded-For:简称XFF头，它代表客户端，也就是HTTP的请求端真实的IP，只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项。它不是RFC中定义的标准请求头信息，在squid缓存代理服务器开发文档中可以找到该项的
X-Forward-For 随笔-将X-FORWARD-FOR字段设置为域名
u011975363的专栏
09-10 5342
X-Forward-For 定义 x-forward-for 是http的协议中，头部中的一个字段，主要用于服务器获取发送请求数据包的客户端的真实IP。 有时候服务器端为了保护自己，或者为了提高用户 访问的效率，会使用反向代理和CDN（负载均衡）。 即客户访问数据的请求都发送给了代理，而不是真正服务器，然后由代理服务器向真正的服务器发送请求，这样客户就不知道服。务器的真实地址，很多博彩网站会...
python求解分支定界(branch-and-bound)问题使用pybnb基本架构
呆萌的代Ma
11-08 1103
官方网址：https://github.com/ghackebeil/pybnb 官方文档：https://pybnb.readthedocs.io/en/stable/ 安装依赖 首先pip安装必要依赖： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pybnb pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ mpi4py 若安装 mpi4py报错，请参考：https:/
李宏毅强化学习笔记【4.Sparse Reward】
*晴儿*的博客
01-27 548
没有reward，训练很难。 因为一开始机器什么都不知道，就靠随机。如果随机一个概率特别小的才有reward，reward非常稀疏，就非常难学习，因为做什么动作都一样糟糕。 1.reward shaping 环境有一个固定的reward。我们还可以设计一些reward，这些不是真正的reward，但是可以引导机器去做一些你想要他做的事情。 增加好奇心： 鼓励冒险，真实的s与n...
伪造 X-Forwarded-For
intel80586
05-09 3万+
背景 应同学的要求，帮忙刷票。我上去看了一下，对方网站做了IP限制，一天之内一个IP只能投一票，并没有使用cookie校验，验证码校验等技术，总体来说这个网站的情况是比较常见的，常见的解决办法有两个： 使用大量的真实IP刷票 如果你使用的是一个拨号上网的网络，每次的拨号都能随机分配IP，这种情况下，可以使用投票一次，拨号一次的方法来实现刷票，但这个方案有两个问题： 1. 编程稍微复杂，
搜索引擎爬虫协议：竞争法视角下的规制与挑战
本文主要探讨了"计算机-爬虫-搜索引擎爬虫协议的竞争法分析"这一主题，聚焦于Robots协议，即网络服务商与搜索引擎之间的行为准则。Robots协议是网络服务商设定的一种自我管理机制，用来告知搜索引擎哪些内容可以抓取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值