【网络安全 | CTF】攻防世界 robots 解题详析

题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。

---

进入靶机，页面空白。
查看页面源代码：
再次结合题目Robots协议

---

robots.txt

robots.txt是一种文本文件，用于告知搜索引擎爬虫哪些页面可以被抓取、哪些页面不应被抓取。通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。

下面是一个简单的robots.txt示例：

User-agent: *
Disallow: /private/
Disallow: /admin/

这个示例中，User-agent: *指定所有搜索引擎爬虫，而Disallow: /private/和Disallow: /admin/则指示搜索引擎不要抓取网站中包含在/private/和/admin/文件夹中的任何内容。

---

姿势

GET：/robots.txt