题目中提示查看robots。
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件
robots协议,又叫爬虫协议,它告诉搜索引擎哪些网页可以抓取,哪些不可以
解题思路:
dirsearch扫描看是否存在robots.txt
若存在,/robots.txt访问
Allow参数表示可以抓取的网页,而Disallow参数表示不可抓取的网页,这类网页只可通过网址访问
题目中提示查看robots。
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件
robots协议,又叫爬虫协议,它告诉搜索引擎哪些网页可以抓取,哪些不可以
解题思路:
dirsearch扫描看是否存在robots.txt
若存在,/robots.txt访问
Allow参数表示可以抓取的网页,而Disallow参数表示不可抓取的网页,这类网页只可通过网址访问