进入网页,我们看到的是这样一串话,
看不懂,翻译一下哈哈哈。 看到了robots.txt。
这里我们补充一下什么是robots。robots协议就是爬虫协议,也就是爬虫需要遵守的规则,在网页中有一个robots.txt文件,这个文件告诉搜索引擎哪些页面可以进行抓捕,哪些页面不能进行抓取。搜索引擎也通过读取这个文件来识别页面能否被抓取。但是robots协议并没有强制的执行力,因此,搜索引擎可以忽视他。
这里既然提到了robots.txt文件,那我们就查看一下吧。
看到说不能查看fl0g.php文件,反骨心理,试试呗。注意:咱是因为在打靶所以才试试的额。别去网页上乱搞嗷。
ok,完成了