SemrushBot是什么搜索蜘蛛爬虫?

最新推荐文章于 2024-08-09 23:41:42 发布

gzlearm

最新推荐文章于 2024-08-09 23:41:42 发布

阅读量4.7k

点赞数

原文链接：https://blog.learm.cn/archives/SemrushBot.html

版权

SemrushBot是SEMrush的服务器搜索蜘蛛
不过对中文网站没有什么用
SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

爬取 User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

进入SEMrushBot自述可以看到自述文件，内容对中文站点的帮助并不大。

robots.txt 拦截

已经在站点 robots.txt 加入下方内容

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /