攻防世界-robots

题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。

 

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。

注意：写爬虫爬取网站的信息的时候一定要注意看robots协议，要不然一不小心爬取别人的隐秘内容是一定程度违反信息安全法的。

 

robots.txt应放置于网站的根目录下。所以我们可以访问网址的:/robots.txt

访问:http://111.200.241.244:35564/robots.txt

 

然后再根据提示访问：f1ag_1s_h3re.php文件

访问：http://111.200.241.244:35564/f1ag_1s_h3re.php

得到flag

 

声明：

本文仅限于大家技术交流和学习，严谨读者利用本博客的所有知识点进行非法操作。如果你利用文章中介绍的技术对他人造成损失，后果由您自行承担，感谢您的配合，

作者创作不容易，请大家点赞支持一下。谢谢各位读者大老爷。