web2_Training-WWW-Robots
key:robots协议
①打开环境后页面长这样式的👇
②不妨先查看一下这个网站的robots协议内容
在URL后加上/robots.txt,访问👇
User-agent: *
Disallow: /fl0g.php
User-agent: Yandex
Disallow: *
发现一个fl0g.php文件
③在URL后加上/fl0g.php,访问得到flag
知识补充:
什么是robots.txt协议?
Robots.txt是放在网站根目录下的一个文件,也是搜索引擎在网站访问的第一个文件,它告诉搜索引擎(爬虫)可以访问站内的那些内容不能访问那些内容
但它仅是一个道德标准保护不了隐私。(也有听到它被戏称为“君子协议”)
以上图为例 Disallow:/ fl0g.php 意思是默认情况爬取fl0g.php不被允许,就是搜索不到但是可以访问到!