攻防世界WWW-robots

robots协议是指导搜索引擎爬虫抓取网页的规则,robots.txt文件列出允许和禁止抓取的页面。尽管协议非强制,但通常会被遵循。文中提到不能查看fl0g.php,出于好奇尝试访问,但警告不要在实际网站上随意操作。
摘要由CSDN通过智能技术生成

进入网页,我们看到的是这样一串话,

看不懂,翻译一下哈哈哈。 看到了robots.txt。

这里我们补充一下什么是robots。robots协议就是爬虫协议,也就是爬虫需要遵守的规则,在网页中有一个robots.txt文件,这个文件告诉搜索引擎哪些页面可以进行抓捕,哪些页面不能进行抓取。搜索引擎也通过读取这个文件来识别页面能否被抓取。但是robots协议并没有强制的执行力,因此,搜索引擎可以忽视他。

 这里既然提到了robots.txt文件,那我们就查看一下吧。

看到说不能查看fl0g.php文件,反骨心理,试试呗。注意:咱是因为在打靶所以才试试的额。别去网页上乱搞嗷。

 

ok,完成了 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值