一、解析
可以看到
这是一个对robots协议的利用。
robots协议,基本上在渗透别人的时候是算是重要的,这个决定了爬虫能爬那些东西,那些东西不能爬取。
二、做题
点击进入题目。
可以看到进去之后一片空白。
我们在URL的后面输入robots.txt
可以看到
这是一个对robots协议的利用。
robots协议,基本上在渗透别人的时候是算是重要的,这个决定了爬虫能爬那些东西,那些东西不能爬取。
点击进入题目。
可以看到进去之后一片空白。
我们在URL的后面输入robots.txt