xctf_Robots

Robots
[目标]
Robots协议
[环境]
Windows
[工具]
浏览器
[分析]
1.根据题目可看出robots协议，因此第一想到的是robots.txt

2.disallow 可看出这是爬虫协议：
User—Agent： 定义搜索引擎类型（定义robots对哪个搜索引擎生效）
User—Agent：BaiduSpider （定义该协议只对百度搜索引擎生效）
User—Agent：*（定义该协议协议对所有搜索引擎生效）
Disallow： 定义搜索引擎禁止抓取收录地址
Disallow：/ （代表着整站禁止搜索引擎抓取，/代表着网站根目录），如果前期做了整站禁止搜索引擎抓取，后期蜘蛛将很长一段时间不会来网站进行抓取内容。
Disallow：/ data/ （代表着禁止蜘蛛抓取data目录后所有的页面）
Disallow：/d （代表着data文件后边的网页被屏蔽）
3.搜寻此php文件

得到flag