CTFshow web入门 web4

CTFshow web入门 web4

题目提示robots，看了些文章反应过来时是关于robots的协议问题，利用“robots.txt”来进行查看链接：
打开之后发现这些代码，百度了一下是些Roberts协议。
User-agent: * 表示所有的搜索引擎种类，*是一个通配符。
Disallow: /flagishere.txt表示是禁止爬取名为flagishere的txt文件。
本着实验的心态在链接后面加了/flagishere.txt试了试，最后得到了flag。

补充
因为之前没有接触过爬虫，对这方面的知识不太明晰，查了一下发现了一些有意思的东西：
1.robots.txt只是文本文件。一个协议，不是命令，所以并不属于防火墙。
2.robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。
百度的建议是：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站