Robots.txt泄露敏感信息

Robots.txt泄露敏感信息

Robots是什么？

Robots是网址和爬虫之间的协议，网站通过robots协议（robots.txt）来告诉搜索引擎哪些页面可以进行抓取。

搜索蜘蛛在访问一个网站时，会首先检查站点跟目录下是否存在robots.txt，之后按照文件中的内容规定来确定访问的范围。

Robots.txt 泄露敏感信息的原因是什么？

robots.txt文件本身没有什么漏洞，它是告诉搜索引擎蜘蛛哪些文件可以爬行，哪些不可以爬行。而我们一般在写robots.txt文件的时候，为了防止搜索引擎蜘蛛的爬行，会写入路径。然而robots.txt大多会定义网站的后台地址或数据库地址，可能会泄露敏感信息。

扫描robots漏洞的方式：

可以通过使用工具爬虫，对网站敏感文件目录进行扫描，对robots文件进行爬取。或者直接在url链接后添加/robots.txt进行测试。

如何修复？

1. 首先我们要明确，robots.txt不应该被用来保护/隐藏信息。应该将敏感的文件和目录移到另一个隔离的子目录，以便将这个目录排除在Robots搜索之外。
2. robots.txt内容可设为Disallow: /，禁止搜索引擎访问网站的任何内容。

各位也可以从网上找robots生成器，按照自己的要求生成robots进行研究。