robots.txt文件是一个应该存放在网站根目录里面的文本文件,该文件是用来正确引导搜索引擎抓取和收录页面的,用来告诉搜索引擎哪些页面可以收录而哪些不可以,所以正确编写robots.txt文件显得尤为重要。
WordPress博客程序默认是有自动生成robots.txt文件,但是文件很简单,只有三行代码:
很显然WordPress自动生成的robots.txt文件有点草率,明显是不适应网站搜索引擎优化的,因此,为WordPress网站手动编写robots.txt文件应该成为建站的重要工作。
编写robots.txt必须要谨慎,否则一不小心输入错误,就会导致整个网站收录情况受到影响,得不偿失! 所以特别写来此文来论述一下robots.txt的正确写法
robots.txt的基本语法
要编写就要先了解,robots.txt也是有自己的规则的。
文件头部规则:
robots.txt文件的开头为User-agent:开头,用来指定搜索引擎蜘蛛,如果要针对百度搜索蜘蛛,可以输入
如果要对全体搜索引擎起作用,则输入
Disallow规则:
Disallow: /abc
表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。
Disallow: /abc/
表示仅禁止访问abc文件夹下的所有文件,但是不限制abc.php、abc.html文件。
Allow规则:
Allow规则同Disallow。
*和$的使用规则:
*表示通配符
Disallow: /cgi-bin/*.htm
表示禁止收录cgi-bin文件夹下的所有htm后缀的文件。
Disallow: /*?replytocom=
表示禁止收录含有“replytocom=”字符的地址。
$用于通指禁止访问某后缀的文件
Disallow: /*.css$
表示禁止收录以css后缀的文件。
Sitemap规则:
Sitemap用来告诉搜索引擎网站地图的位置
Sitemap: http://www.uye8.com/sitemap.xml
针对WordPress网站的robots.txt的编写
WordPress的结构简单易懂,对WordPress的robots.txt编写还是比较简单的。
为了避免收录WordPress系统文件:
为了避免收录重复的内容:
为了正确引导搜索引擎找到网址地图(如果有的话)
总结全部的robots.txt全文如下:
将代码编写在记事本上,然后保存为robots.txt,直接上传到网站的根目录就可以生效了,千万不要搞错放在了主题文件夹里面,检查方式可以直接在地址栏上输入“域名+robots.txt”,如果能正确访问就可以。
建议上传之后,最好用百度站长平台中的“网站分析”→“robots”检查一下语法是否正确,确保万无一失。
转载自:http://www.sailingnet.net/sailingnet/3046