robots | 优化你的wordpress博客

WordPress博客的robots.txt文件写法得根据自身网站情况来定,当然我们可以借鉴一些知名网站的robots.txt写法,比如可以看wordpress教程网的robots.txt,可以通过访问:http://www.wpnoob.cn/robots.txt 获取
以下就以本站为例:

User-agent: *
Disallow: /wp-
Disallow: /?
Disallow: /feed/
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /*/trackback/
Disallow: /page/
Disallow: /a-category/*/page/
Disallow: /a-tag/*/page/
Sitemap: http://www.wpnoob.cn/sitemap_baidu.xml

下面详细解释下每行规则的含义:

  • User-agent: * 对所有搜索引擎开放收录
  • Disallow: /wp- 禁止搜索引擎收录所有包含“wp-”字样的url,如wp-admin、wp-content、wp-includes、wp-login.php等
  • Disallow: /? 禁止搜索引擎收录所有包含“?”字样的url
  • Disallow: /feed/ 禁止搜索引擎收录RSS订阅页面
  • Disallow: /*/feed/ 禁止搜索引擎收录所有分类目录、TAG、文章的RSS订阅
  • Disallow: /trackback/ 禁止收录网站的trackback
  • Disallow: /*/trackback/ 禁止收录所有分类目录、TAG、文章的trackback
  • Disallow: /page/ 禁止百度收录首页分页,防止首页权重过于分散
  • Disallow: /a-category/*/page/ 同理,禁止百度收录分类目录分页
  • Disallow: /a-tag/*/page/ 同理,禁止百度收录TAG标签分页
  • Sitemap: http://www.wpnoob.cn/sitemap_baidu.xml robots.txt文件增加Sitemap链接地址
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值