SemrushBot是什么搜索蜘蛛爬虫?

SemrushBot是SEMrush的服务器搜索蜘蛛
不过对中文网站没有什么用
SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

---

爬取 User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

进入SEMrushBot自述可以看到自述文件，内容对中文站点的帮助并不大。

---

robots.txt 拦截

已经在站点 robots.txt 加入下方内容

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /

---

官网截图

---

SemrushBot