国内外搜索个个搜索引擎明细简单介绍

qwe13600as

已于 2024-01-29 17:03:46 修改

阅读量1k

点赞数 20

分类专栏： seo 文章标签：搜索引擎 html

于 2024-01-29 17:03:28 首次发布

本文链接：https://blog.csdn.net/qwe13600as/article/details/135916539

版权

seo 专栏收录该内容

32 篇文章 0 订阅

订阅专栏

原地址：https://www.ctvol.com/seoomethods/423931.html

AhrefsBot :

AhrefsBot 是一个 Web 爬虫，为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断抓取网络以使用新链接填充我们的数据库并检查以前找到的数据的状态，以便为我们的用户提供最全面和最新的数据。

Googlebot

谷歌的网页抓取机器人，类似于中国的Baiduspider（百度蜘蛛）Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。

YisouSpider

神马搜索根据网站规模、服务能力、页面质量、更新速度等因素决定对网站的访问频率。通常更新快、质量高的网站Yisouspider访问频率相对较高。如果您发现Yisouspider非正常抓取您的网站，请反馈给神马搜索，并请尽量给出Yisouspider的访问日志便于跟踪处理。

SemrushBot （类似 AhrefsBot ）

SemrushBot是SEMrush的服务器搜索蜘蛛，不过很多公司看到日志里有这个SemrushBot蜘蛛，中文是选择直接屏蔽掉，SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

BLEXBot (类似百度词条)

BLEXBot是urban dictionary的蜘蛛，是一个专供网友来发表对一些特殊的单词或短语的解释的网站。

Baiduspider (不用多解释大家都知道)

百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

Bytespider （今日头条）

Adsbot （访问广告链接）

为用户和广告客户提供优质的广告服务是我们的重要目标。为此，我们对审核及衡量目标网页质量的方式进行了改进。AdWords 系统会对广告客户的目标网页进行检索，以便于我们从整体上更好地把握 AdWords 广告的相关性和质量。

DotBot (属于moz)

Moz 是来自美国的一个软件开发公司，由 Rand Fishkin 和 Gillian Muessig 创立于 2004 年，现总部位于华盛顿州西雅图市。起初，该公司是一个咨询公司，于 2010 年转型为软件开发公司，其官方网站上有一个在线社区和一些与营销有关的工具。此外，在 SEO 工具箱这页中还有包括术语提取器（Term Extractor）等在内的多个 SEO 工具。