虽然Google现在去掉了搜索结果中重复页面的“Supplemental”标志,但是对于重复内容的惩罚Google从来都不会手软。如果一个网站中的重复内容太多,不管是抄袭别人的(应该杜绝),还是站内内容重复,都会影响到SEO的效果,导致流量不佳。
对于Wordpress博客程序来说,分类,Archive,Page,author,标签等页面都会或多或少产生重复的内容。如果这些都被Google索引,那么整个网站就会因为重复问题而受到相应的惩罚,流量也会相应减少。然而这些页面在所难免都会出现这样的问题,解决的办法就是使用robots.txt文件,通过它来禁止搜索引擎索引可能产生重复内容的页面。
Nathan Metzger称,自从在robots.txt中做了相应修改后,网站流量增加了20%。
详见:Get Your Blog Out of the Google Supplemental Index
可以参考一下Nathan Metzger和其他比较著名博客的robots.txt文件:
Nathan Metzger: http://www.notsoboringlife.com/robots.txt
John Chow Dot Com: http://www.johnchow.com/robots.txt
Shoemoney: http://www.shoemoney.com/robots.txt
UPDATES: 今天在robots.txt文件中增加下面两行(07.12.24)# Disallow all files with ? in url
Disallow: /*?*
Disallow: /*?