攻防世界刷题-Training-WWW-Robots

进入题目页面，有一段提示说明robots.txt的作用。

robots.txt是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络爬虫/蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被获取的。
当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
根据提示猜测题目网页用到了robots.txt，访问一下试试。

可以看到禁止了所有robots引擎访问fl0g.php，允许Yandex搜索引擎访问所有内容
做到这里，可以直接选择使用Yandex访问f10g.php，就可以得到flag，但是考虑到需要使用代理，可以通过burp来修改user-agent来实现访问。
先通过信息搜索出Yandex的user-agent：
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/110.0
之后访问fl0g.php，通过burp抓包来修改user-agent

将修改的包发送，即可得到flag