剁椒鱼头没剁椒的博客

robots是搜索引擎爬虫协议，也就是你网站和爬虫的协议。简单的理解：robots是告诉搜索引擎，你可以爬取收录我的什么页面，你不可以爬取和收录我的那些页面。robots很好的控制网站那些页面可以被爬取，那些页面不可以被爬取。主流的搜索引擎都会遵守robots协议。并且robots协议是爬虫爬取网站第一个需要爬取的文件。爬虫爬取robots文件后，会读取上面的协议，并准守协议爬取网站，收录网站。robots文件是一个纯文本文件，也就是常见的.txt文件。