【攻防世界CTF|web方向】第四题：robots

已于 2024-08-02 17:35:25 修改
阅读量699 收藏 4
点赞数 12
文章标签： 安全 笔记 经验分享
于 2024-08-02 17:09:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70825534/article/details/140874761
版权

一、解题思考过程

1.查看题目所给信息：知道题目与robots协议相关

2.进入题目场景

发现啥都没有

以web方向题目的经验，我们下意识去查看网页源码

很遗憾，flag没在这儿

3.回到题目描述中所说的robots协议

我们去查一下robots协议到底是啥，在我们找到flag的路上至关重要

robots.txt示例：

既然它在网站根目录下，我们就去Get它

最低0.47元/天 解锁文章
Wordsworth983
关注
uw-ctf:UW CTF的robots.txt挑战
05-09
超宽频 我为UW CTF的第一个危险样式CTF创建的robots.txt挑战在此处尝试挑战：
【网络安全 | CTF】攻防世界 robots 解题详析
等风来
05-20 6074
通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。robots.txt是一种文本文件，则指示搜索引擎不要抓取网站中包含在。被设置为禁止爬取，访问即可。指定所有搜索引擎爬虫，而。进入靶机，页面空白。文件夹中的任何内容。
CTF-robots
weixin_45246254的博客
12-24 2915
链接http://rt.ichunqiu.com:7001/ 访问链接显示一个图片 根据提示robot，访问robots.txt 访问/admin/3he11.php，可以在代码中看到flag robots.txt是什么？ robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robot
CTFshow robots后台泄露题解
最新发布
kater_1的博客
02-06 875
robots后台泄露是一道考察网络协议的题目，主要考察选手是否了解robots协议，并知道robots协议下存在哪些目录文件。
CTF-Web入门-robots
qq_28383747的博客
11-04 1581
本题是一道Web方向的入门题目，重点在于理解robots协议相关知识。robots协议也称为爬虫协议、爬虫规则等，它会建立robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些不可以抓取。爬虫访问一个站点时，会首先检查站点的根目录下是否存在robots.txt文件。这也是为什么尝试在地址栏中输入/robots.txt的原因。
CTF-web题 robots协议
2302_80276789的博客
07-22 478
打开如上，第一行user-agent的*是适用于任意的浏览器，后面的是不允许访问（爬虫）后面的两个文件夹和文件，robots协议是一个君子协议，不是硬性要求，我们可以去爬取，但是可能会承担法律责任。访问第一个文件发现没有内容，但是我们往下翻就会发现内容藏在最下面（有的时候可能会藏在源代码被注释，我们需要去仔细寻找。题目打开之后就可以看见他的提示robots。源代码也没有flag信息。那么我们就试一试看看网页中有没有藏一个robots文档输入如下。以上就是题目的flag。与平时不同，前面不是flag的字样。
青少年CTF-Web-Robots
zxsctf的博客
10-08 1000
题目名称：Robots题目描述：昨天十三年社团讲课，讲了Robots.txt的作用，小刚上课没有认真听课正在着急，你能不能帮帮忙？题目难度：一颗星。
ctf-攻防世界-web：robots
一只菜鸟的博客
11-01 1816
提示robots协议，那么直接在靶机地址后加/robots.txt，访问看看 出现disallow，即不允许全体爬虫访问f1ag_1s_h3re.php，按照ctf“不让干啥偏干啥”的传统，那就去访问f1ag_1s_h3re.php看看，果然flag出现 另：关于robots.txt robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的...
【攻防世界CTF|web方向】第一题：Training-WWW-Robots
weixin_70825534的博客
07-24 636
如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。1.做题技巧层面：有时flag会出现一些相似的变形，比如这道题中的fl0g，不要忽视了。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件。3.尝试访问：本题目场景的网页下的robots.txt文件，得到如下界面。，如同守门人无法阻止窃贼等恶意闯入者,是一个类似于君子协议的文件。形式：在网站根目录下的robots.txt文件。的内容时，才需要使用。
ctf攻防世界web方向，基础题详解.1
weopenear的博客
04-24 747
本题在百度文库有 robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件，一般而言 robots.txt 文件告诉蜘蛛软件在服务器上面什么文件是可以被查看的。第一题： 这题很简单，在_获取在线场景_后，点开题目网址，按住f12就可以查看网页源码，就可以容易看到flag，cv复制就可以获取flag。第二题： robots协议，一般ctf比赛中，会遇到很多自己不太会，不太懂的协议，一般会在网上查询一些，如下图所示，按照百度文库查看robots.txt 文件。
攻防世界WEB题WriteUp收集
AnKores的博客
01-02 925
题做到哪写到哪
攻防世界web新手题答案_攻防世界web 新手区 wp
weixin_39518840的博客
11-21 3047
view_source题目描述右击不管用，打开题目看到以下界面右击不管用，可以按F12 -> source 查看源代码，拿到flagrobots题目描述就是和robots协议有关的，直接在url中 输入robots.txt 查看 robots协议，并拿到flagrobots协议robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Note...
【CTF】Web robots 通关教程
qq_45196785的博客
09-26 543
robots.txt是一个用于指示搜索引擎爬虫如何访问网站内容的文本文件。6、查看robots.txt，拼接Disallow下的html。3、火狐浏览器乱码，可将页面编码调为UTF-8。1、练习中心 - 题目列表 - Web。2、查看题目-启动动态环境。5、修复文字编码-折叠菜单。4、更多工具-定制工具栏。
【CTF知识库】robots.txt
国服可爱玩家的BLOG
06-13 761
【CTF知识库】robots.txt。
robots协议ctf
W286734的博客
10-25 420
Robots协议，全称为“网络爬虫排除标准”(Robots Exclusion Protocol)，是互联网上用于指导搜索引擎蜘蛛如何抓取和访问网站的一种协议。网站可以通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而保护敏感信息和数据，确保用户隐私不被得犯。
CTF解题记录-Web-robots协议(附靶场链接)
qq_45537463的博客
09-19 2363
题目已经提示的很明显了，这题肯定是有关robots协议，打开题目场景 是一个空白页，在url后加上/robots.txt 出现页面 再将 url中的 /robots.txt 换成/f1ag_1s_h3re.php 得到flag！
CTF-web-robots协议
qq_43681877的博客
04-30 2488
Robots协议 环境网址http://111.198.29.45:59344 首先安装dirsearch_master 下载地址（https://github.com/maurosoria/dirsearch） 运行环境为python3 在解压后的dirsearch_master文件夹里打开命令行 输入 python dirsearch.py -u http://111.198.29.45:59...
CTF每日一题之robots访问
xiaotu0821的博客
08-09 3355
刚开始只是给了这么一个提示  看的我一脸蒙蔽，怎么没有提交的地方，不用提交flag，说是访问robots.txt，也没说访问哪个网站的，嗯，先看看源码，没啥发现，想想可能是我想太多了，我先进一下本网站的robots看一下好了 嗯，给了一个链接，不管了，先访问一下 哎哟哟哟，通过了，好吧，通过了那就通过了，就这样吧。 end...
robots 攻防世界
天天学安全专属博客
04-02 3168
1.首先看题目，一般题目提升的信息都非常有用 2.看到了一个重要的东西Robots协议 Robots协议： 1.搜索引擎通过一种程序robot 自动访问互联网上的网页并获取网页信息。 2.您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分 3.robots.txt文件应该放在网站根目录下,一般是目标网址/robots.txt 在robots.txt文件中： 1.User-agent:描述搜索引擎robot的名
robots攻防世界
09-30
robots在网络世界中是一个用于管理搜索引擎机器人访问网站的协议。通过在网站根目录下的robots.txt文件中设置规则，网站管理员可以控制搜索引擎机器人对网站内容的访问和收录。robots.txt文件是一个纯文本文件，可以通过访问域名/robots.txt来查看。文件中可以设置多条User-agent记录，用来指定不同的机器人遵守的规则。Disallow行用于指定不允许机器人访问的页面或目录。而Allow行则用于指定允许机器人访问的页面或目录。网站管理员可以根据自己的需求来设置这些规则，以控制搜索引擎对网站的访问和收录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值