robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。via 维基百科
也许有朋友说,我巴不得搜索引擎多爬些呢,还禁用?事实上,善用robots.txt,可以简单但非常有效的对博客进行优化,我曾搜索了一些关于wordpress 博客 robots.txt写法的文章,但是众说纷纭,有的文章中说一套,可是自己的robot.txt却是另外的写法,实在让人难以信服。无奈之下,只有自己慢慢尝试,下面就望月的robots.txt的写法说一说自己的体会。
robots.txt
我的robots.txt的写法如下:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: /comments
Sitemap: http://www.52chuangyi.net/sitemap.xml
简单说明一下,这个robots.txt文件允许博客被所有搜索引擎收录,但是不允许蜘蛛访问cgi-bin文件夹以及wp开头的文件,这主要是为了博客的安全。
此外,不允许搜索引擎蜘蛛访问feed及comments的feed文件,主要是为了避免重复内容,这一点百度尤其重视,将wordpress 的很多页面视为重复内容,这也是wordpress博客在百度中排名不高的原因之一。事实上,在禁用了feed文件之后,我的博客来自百度的流量由之前的几乎为0增长到现在的每天300-500IP。
禁止访问trackback和comments是为了避免垃圾评论和垃圾引用。
之所以有两个sitemap文件,是因为我启用了Google XML Sitemaps 插件,所以将两个sitemap一并列了出来。
robots.txt协议并不是一个规范,而只是约定俗成的,所以,每个搜索引擎遵守robots.txt的方式也不一样,在你修改robots.txt文件时,可以用Google网站管理员工具或者Robots.txt Checker检测一下robots.txt是否符合规范。