1.打开并进入实验场景
2.根据题目描述考察的是robots协议
Robots协议,也称为爬虫协议、机器人协议或网络爬虫标准,是一种用于指导网络爬虫(web crawler)如何访问和抓取网站内容的规范。它通过在网站的根目录下放置一个名为"robots.txt"的文本文件来定义规则。主要目的是控制搜索引擎爬虫的行为,以保护网站的内容和资源。通过该协议,网站管理员可以指定哪些页面可以被爬虫访问,哪些页面应该被忽略,以及爬虫在访问网站时应遵守的其他限制条件。
3.根据robots协议,可知会在根目录下放置一个robots.txt文本文件,因此,在网页url后添加/robots.txt查看
4.从页面输出内容,可以看到有一个php文件,在url后添加查看,出现flag值。