搜索引擎

Baiduspider常见问题解答

什么是Baiduspider

Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。

Baiduspider的user-agent是什么？

百度各个产品使用不同的user-agent：

产品名称	对应user-agent
网页搜索	Baiduspider
移动搜索	Baiduspider
图片搜索	Baiduspider-image
视频搜索	Baiduspider-video
新闻搜索	Baiduspider-news
百度搜藏	Baiduspider-favo
百度联盟	Baiduspider-cpro
商务搜索	Baiduspider-ads

如何区分PC与移动网页搜索的UA

PC搜索完整UA：

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

移动搜索完整UA：

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

pc ua：通过关键词Baiduspider/2.0来确定是pc ua

移动ua：通过关键词android和mobile确定是来自移动端抓取访问，Baiduspider/2.0 确定为百度爬虫。

Baiduspider对一个网站服务器造成的访问压力如何？

为了达到对目标资源较好的检索效果，Baiduspider需要对您的网站保持一定量的抓取。我们尽量不给网站带来不合理的负担，并会根据服务器承受能力，网站质量，网站更新等综合因素来进行调整。如果您觉得baiduspider的访问行为有任何不合理的情况，您可以反馈至反馈中心。

为什么Baiduspider不停的抓取我的网站？

对于您网站上新产生的或者持续更新的页面，Baiduspider会持续抓取。此外，您也可以检查网站访问日志中Baiduspider的访问是否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站，请通过投诉平台反馈给我们，并请尽量给出Baiduspider对贵站的访问日志，以便于我们跟踪处理。

如何判断是否冒充Baiduspider的抓取？

建议您使用DNS反查方式来确定抓取来源的ip是否属于百度，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：

1.在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 .baidu.com 或 .baidu.jp 的格式命名，非 .baidu.com 或 .baidu.jp 即为冒充。

$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.

2.在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 .baidu.com 或 .baidu.jp 的格式命名，非 .baidu.com 或 .baidu.jp 即为冒充。

3.在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 .baidu.com 或 .baidu.jp 的格式命名，非 .baidu.com 或 .baidu.jp 即为冒充。

我不想我的网站被Baiduspider访问，我该怎么做？

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法

您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对Baiduspider设置禁止抓取。

以下robots实现禁止所有来自百度的抓取：

User-agent: Baiduspider Disallow: /

以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：

User-agent: Baiduspider Disallow: /

User-agent: Baiduspider-image Allow: /image/

请注意：Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro给您造成了困扰，请联系union1@baidu.com。 Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-ads给您造成了困扰，请联系您的客户服务专员。

为什么我的网站已经加了robots.txt，还能在百度搜索出来？

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过投诉平台反馈请求处理。

我希望我的网站内容被百度索引但不被保存快照，我该怎么做？

Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

Baiduspider抓取造成的带宽堵塞？

Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至投诉平台，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

---

一般情况下，大多数网站创建者或管理员都会在网站的根目录放置一个名为robots.txt的文本文件，用来控制自己的网站哪些目录允许SE搜索引擎[1] 爬行并收录，哪些目录禁止搜索引擎收录，Disallow，正是robots.txt文件中设置禁止搜索引擎收录哪些目录的一个词语。

例子：
允许所有SE（搜索引擎）收录本站：robots.txt为空就可以，什么都不要写。
禁止所有SE（搜索引擎）收录网站的某些目录：

User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/

禁止某个SE（搜索引擎）收录本站，例如禁止百度：

User-agent: Baiduspider
Disallow: /

禁止所有SE（搜索引擎）收录本站：

User-agent: *
Disallow: /

它的用途是告诉上一子集，确定某个对象用的。

什么是robots.txt

robots.txt是一个纯文本txt文件，用在网站服务器上。它是搜索引擎访问网站的时候要查看的第一个文件，robots.txt文件告诉搜索引擎在服务器上什么文件是可以被查看的，哪些网页可以收录，哪些不允许收录，对与seo优化而言，放置一个robots.txt是对搜索引擎友好的表现，robots.txt必须放置在一个站点的根目录下，且文件名必须全部小写。

robots.txt作用

robots.txt主要作用是保障网络安全与网站隐私，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站就可以声明哪些页面不想被搜索引擎爬行并收录，每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当搜索引擎访问某个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt文件的格式

User-agent：_____ 空白处为定义搜索引擎的类型；
Crawl-delay：_____ 空白处为定义抓取延迟；
Disallow：_____ 空白处为定义禁止搜索引擎收录的地址；
Allow：_____ 空白处为定义允许搜索引擎收录的地址；

---

360搜索对Robots协议的支持

360搜索支持Robots协议的主要命令，以下为具体说明：

user-agent

360搜索支持user-agent命令，包括使用通配符的user-agent命令。360搜索各产品的爬虫user-agent为：

• 网页搜索 360Spider
• 网页搜索 HaoSouSpider

360搜索将优先使用HaoSouSpider来访问站点，如果遇到UA识别无法下载页面，会再用 360spider抓取,蜘蛛IP不更改。

• 图片搜索 360Spider-Image

• 视频搜索 360Spider-Video

Allow

站长可通过Allow命令指定建议收录的文件、目录 。

Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。

360搜索对Robots协议的扩展

360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。

360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。

在命令中可以使用*、$等通配符。

示例：

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的：

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

对Robots协议的善意使用

Robots协议是一个搜索引擎和网站之间的善意协议，我们鼓励站长们也以善意的方式使用这一协议，尽量提供准确的信息，除非有充足理由，不使用Robots协议屏蔽某些特定搜索引擎爬虫。

360搜索愿和站长们一起，共建一个更健康、公平、透明的搜索引擎生态系统。