wordpress中如何正确书写robots.txt

首先我们来查看一个朋友的robots.txt，显然他的是不曾修改的，用的还是Wordpress默认的。

这种缺陷是巨大的，因为没有屏蔽/wp-content/和/wp-includes/等诸多文件，假以时日，会有很多后台文件都被收录的，像这样

所以我们需要更加完整的robots.txt内容，防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt，大家都可以参考。
其一

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/

其二

User-agent: *
Disallow: /wp-*
Disallow: /qiuye-*
Disallow: /*replytocom=
Disallow: /*?iapolo_co*
Disallow: /page/*?iapolo_co*
Disallow: /page/?iapolo_co*
Disallow: /?iapolo_co*
Disallow: /?ad=da
Disallow: /?iapolo.com
Disallow: /daohang/
Disallow: /wp-login.php?*
Disallow: /?_=*
Disallow: /?p=*
Disallow: /api/*
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.eot$
Disallow: /*.svg$
Disallow: /*.ttf$
Disallow: /*.woff$
Disallow: /*.json$
Disallow: /page/1
Disallow: /shuoshuo/
Disallow: /jiayi

我们都可以作为参考，大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取

---

更多文章：http://liuyanzhao.com/2207.html
本文地址：http://liuyanzhao.com/3275.html
转载请注明