XCTF-攻防世界CTF平台-Web类——2、Training-WWW-Robots（目录泄露）

这是一道文件目录泄露的题目
先访问题目场景：

在这个小的训练挑战中，你将学习机器人排除标准。 robots.txt文件被网络爬虫用来检查他们是否被允许抓取和索引你的网站或只是部分网站。
有时这些文件显示目录结构，而不是保护内容不被抓取。

享受吧!

它告诉搜索引擎（爬虫）可以访问站内的那些内容不能访问那些内容，但是它只是一个说明上的不允许，并不是技术上的不允许。
接着我们访问robots.txt文件查看它的协议内容：

http://111.200.241.244:51837/robots.txt

意思是任何用户爬取/fl0g.php都不被网站允许，
我们依旧可以访问

http://111.200.241.244:51837/fl0g.php

得到flag就是：cyberpeace{a08be9199db41e1bf03642cb8580cfe5}