【CTF Web】QSNCTF Robots Writeup（Robots协议+信息收集）

Robots

题目描述
昨天十三年社团讲课，讲了Robots.txt的作用，小刚上课没有认真听课正在着急，你能不能帮帮忙？

---

原理

robots.txt是一个在网站根目录下的文本文件，它用来告诉搜索引擎爬虫和其他网络爬虫，哪些页面或文件可以或者不可以被获取。这个“机器人排除协议”（Robots Exclusion Protocol）是一种自愿遵守的网页服务标准，不是所有的爬虫都会遵守这个协议。

举个例子：

User-agent: *
Disallow: /private/
Disallow: /tmp/

“User-agent: *”表示这个规则适用于所有的网络爬虫，"Disallow: /private/"和"Disallow: /tmp/“则表示爬虫不应该爬取以”/private/“和”/tmp/"开头的URL。

解法

访问：

http://challenge.qsnctf.com:31836/robots.txt

User-agent: *
Disallow: 
Disallow: f1ag_1n_the_h3re.php

访问：

http://challenge.qsnctf.com:31836/f1ag_1n_the_h3re.php

取得 flag。

Flag

qsnctf{5b9b8eb69834493ea2ceebaba826e540}

---

声明

本博客上发布的所有关于网络攻防技术的文章，仅用于教育和研究目的。所有涉及到的实验操作都在虚拟机或者专门设计的靶机上进行，并且严格遵守了相关法律法规。

博主坚决反对任何形式的非法黑客行为，包括但不限于未经授权的访问、攻击或破坏他人的计算机系统。博主强烈建议每位读者在学习网络攻防技术时，必须遵守法律法规，不得用于任何非法目的。对于因使用这些技术而导致的任何后果，博主不承担任何责任。