每天一道CTF（web方向）

攻防世界Training-WWW-Robots

打开题目发现有提示，大概意思就是可以通过本道题让我们了解到robots文件的利用,下面是robots的概念：

robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。但是,这个robots协议不是防火墙,也没有强制执行力,搜索引擎完全可以忽视robots.txt文件去抓取网页的快照。

在url后面写robots.txt查看爬虫协议,得到了提示，禁止访问fl0g.php目录，但是他 没有强制执行力,搜索引擎完全可以忽视robots.txt文件去抓取网页的快照，所以我们可以访问fl0g.php目录,得到flag值。