攻防世界（WEB）Training-WWW-Robots

通过题目标题，知道这个题考的是robots相关方向，之前在新手区做过一道robots，重要的就是要看robots.txt文件里面的权限如何

再一次补充一下robots的知识点，详细可以参考新手区题目

当robots访问一个网站（比如http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。（也就相当于一个管理权限的文件）
robots.txt文件用法举例：
User-agent(搜索引擎robots的名字)：*(*代表所有）
Disallow(以Disallow开头的url都禁止访问)：/(代表禁止所有引擎访问网站任何部分）
例：
User-agent:baiduspider
Disallow:
User-agent:*
Disallow:/
代表允许baiduspider来访问网站任何，其他都不行 

大概意思是：在这个小小的训练挑战中，您将会学到robots排除的标准，robots.txt文件被网络爬虫虫用来检查他们是否允许抓取或者索引你的网站或者部分网站，有时这些文件只会显示目录结构，而不是保护内容不被抓取 

进入robots.txt文件查看一下权限或者被隐藏了哪些

可以看到禁止了所有robots引擎访问f10g.php，允许Yandex搜索引擎访问所有内容，我们便去往f10g.php看一下

 果然被禁止的网址就是藏着flag的地方