Moz的链接索引爬虫
Dotbot是Moz的web爬虫程序,它为Moz链接索引收集web数据。通过Dotbot收集的这些数据可以在mozpro活动、linkexplorer和Moz Links API的Links部分找到。Dotbot不同于Rogerbot,Rogerbot是我们用于Moz Pro活动的站点审计爬虫。给中文站点带来流量的几率很小,LeaRM博客并非外交网站,所以对该蜘蛛进行屏蔽。
robots.txt 屏蔽
从您网站的某些区域阻止Dotbot
User-agent: dotbot
Disallow: /admin/
Disallow: /scripts/
Disallow: /images/
从您网站的任何部分阻止Dotbot
User-agent: dotbot
Disallow: /
延迟机器人爬网速度
User-agent: dotbot
Crawl-delay: 10