攻防世界-Training-WWW-Robots

看到题目知道要考robots协议，

/robots.txt

然后就看到了

/fl0g.php

再来学习一下robots协议。

它更像是一种公告告诉网络搜索引擎的漫游器可以爬取哪些东西，不可以爬取哪些东西。不具备安全保护的功能。所以爬虫在爬网站时，会第一浏览robots.txt中的许可爬取的部分，再根据许可爬取内容。