SNS网站的ROBOTS.TXT

 　　以千橡旗下的两大SNS站：开心网、人人网为例，我认为SNS网站从robot.txt开始就已经走错了。我们来看开心网的robots.txt：

 

 　　

 　　其中有一句“Disallow: /profile.do*”，即不允许搜索引擎抓取网站中包含profile.do的所有网址，而profile.do恰恰是与个人主页相关联的网址（人人网robots.txt与上图完全相同）。

 

　　如果我以自己的名字在开心网建立了个人主页，朋友在搜索引擎上搜索的时候，是找不到我在开心网上的个人主页的。

 

　　SNS站更多的是为人与人之间的关系服务，但SNS站为什么不让搜索引擎抓取与个人主页相关的任何资源？是想给别人说要找人就要上你的SNS网站？不敢苟同，SNS站这样做同时也浪费了搜索朋友的潜在用户。

 

 

　　作者：hi3w@SEM根据地
　　原文地址： http://blog.csdn.net/hi3wsem/archive/2009/11/07/4783340.aspx
　　原创文章如转载，请以链接形式注明作者及原始出处。