攻防世界新手练习区3之robots

0x00

       Tips: X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。
       robots协议在现实应用中很常见，协议中按一定语法规定哪些页面是百度、搜狗、bing等搜索引擎的爬虫能够爬取的页面，例如网站后台、各种管理界面和一些目录是不允许爬取的~
robots文件生成：http://tool.chinaz.com/robots/

0x01

进入环境之后为空白页面，直接访问网站根目录下的robots.txt文件

robots中不允许爬虫爬取一个php页面，这个页面名称是"flag is here"的变形，属性黑客喜欢的变形方法，比如说p@ssw0rd~
访问得到flag

0x02

       这题还是很简单的，大家可以去站长之家尝试制作robots文件~