robots是一种爬虫协议。网站目录里面的robots.txt文件,可以用来标识一些不想被爬虫访问到的页面信息等。该文件一般在根目录。 转载于:https://www.cnblogs.com/PrideAssassin/p/11561366.html