Barkrowler 蜘蛛?屏蔽流氓扫描爬虫?

今日发现异常爬虫蜘蛛大量访问LeaRM博客，经核实该蜘蛛属于商业SEO分析蜘蛛，我是个人博客就可以屏蔽，不需浪费过多的网站流量，毕竟我的主机网络是按量付费。如果允许爬取会增加不必要的开支。

爬虫 User-Agent

Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)

已经加入了UA黑名单进行屏蔽处理。

robots.txt屏蔽设置

User-agent: Barkrowler
Disallow: /

---

蜘蛛官网证明（已翻译中文）

---

相关：垃圾SemrushBot爬虫 搜狗蜘蛛进场 Barkrowler 蜘蛛