【SEO】robots.txt协议中应该禁止哪些爬虫？

大部分的常见的蜘蛛爬虫百度 搜狗 360 必应等都是搜索引擎的爬虫无需设置禁止访问，有些比如：AhrefsBot/SemrushBot这些是网站营销的爬虫我们可以在爬虫协议中写上禁止该爬虫访问爬取。但是对于很多站长基本都会知道，协议只是一个基本道德互联网爬取选择，并不可以直接让爬虫选择不爬取。这相当于警告，大部分爬虫都是遵循该类协议选择，有些爬虫是无视这些的，直接爬取我们网站的内容信息。

我们可以选择用宝塔的IP限制黑名单，让这些IP段的营销爬虫无法访问即可。

AhrefsBot是一个营销网站的爬取蜘蛛，负责分析网站信息。(建议禁止这些IP)

爬虫IP：

54.36.148.1 ~ 54.36.148.254

54.36.149.1 ~ 54.36.149.254

54.36.150.1 ~ 54.36.150.254

SemrushBot也是一个营销网站的爬取蜘蛛，负责分析网站信息。(建议禁止这些IP)

爬虫IP：

46.229.168.136 ~ 46.229.168.162