Training-WWW-Robots题解流程

这题是有关网站爬虫的一个ctf题型，先进到网站里面看看长什么样。

进来之后可以看到里面只有一段话：

在这个小挑战里面，你将学习机器人排除标准。

robots.txt文件是用于检测网站爬虫是否被允许爬取和索引你的全部或部分网站。

有时这些文件会暴露文件结构而不是保护它们不被爬取。

所以这个小挑战的意图就很明显了，需要我们进入到这个网站的robots.txt文件里面，看看里面是否有些说法。

进入到robots.txt文件中，可以看到下面有个/fl0g.php文件是不允许爬取的，这个fl0g.php文件就是我们要找的flag，切换到这个php页面。

我们要找的flag就在这。