攻防世界，Web：Training-WWW-Robots

1.解题过程：

进入场景，英文对应的中文（下图），超链接是 Robots_exclusion_standard 的维基百科

注意最后一行，robots.txt 文件可以显示目录结构 或者 保护内容不被网络爬虫（漫游器）抓取

所以我们根据提示查看 robots.txt 文件

发现其中禁止被爬虫抓取的网页：/fl0g.php

在原来的 URL 后构造新的网址

进入网址得到flag

2.知识点：

（1）网络爬虫：一个自动提取网页的程序 网络爬虫_百度百科

（2）robots.txt：一般放置于网站的根目录下，所以可以直接在URL后面添加访问

（3）robots.txt的写法：什么是robots文件？robots.txt该怎么写？ - 知乎 (zhihu.com)