Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。
百度各个产品使用不同的user-agent:
名称 || 对应user-agent
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
百度推广 Baiduspider-sfkr
网页以及其他搜索 Baiduspider
以下robots实现禁止所有来自百度的抓取:
User-agent: Baiduspider
Disallow: /
以下robots实现仅禁止来自百度视频搜索的抓取:
User-agent: Baiduspider-video
Disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请注意:
Baiduspider-cpro和Baiduspider-sfkr抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守 robots协议,如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰,Baiduspider-cpro请联系 union1@baidu.com,Baiduspider-sfkr请联系help@baidu.com。
百度各个产品使用不同的user-agent:
名称 || 对应user-agent
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
百度推广 Baiduspider-sfkr
网页以及其他搜索 Baiduspider
以下robots实现禁止所有来自百度的抓取:
User-agent: Baiduspider
Disallow: /
以下robots实现仅禁止来自百度视频搜索的抓取:
User-agent: Baiduspider-video
Disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请注意:
Baiduspider-cpro和Baiduspider-sfkr抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守 robots协议,如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰,Baiduspider-cpro请联系 union1@baidu.com,Baiduspider-sfkr请联系help@baidu.com。