【WeChall】Training: WWW-Robots

这个题目主要就是让我们知道，网站允许搜索引擎爬取内容的时候有一些限制，即是robots.txt，这个文件一般放在网站首页根目录下，比如：

可以发现有一个隐藏起来的页面，对比url，并转到该页面，即可解决问题。