腾讯soso,请停止你们的流氓蜘蛛爬虫

根据soso官网的声明：http://help.soso.com/webspider.shtml 里面说得很清楚，

5.我可以拒绝sosospider访问我的站点么？
sosospider遵循robots协议。该协议的详细信息可以参考http://www.robotstxt.org/wc/robots.html（英文网站）。注意：禁止sosospider访问您的网站，将使您的网站在搜搜网页搜索引擎中无法被用户搜索到，请慎重使用。 

我使用以下代码：

# go away

User-agent: *

Disallow: /

User-agent: Sogou web spider

Disallow: /

User-agent: sogou spider

Disallow: /

建立 robots.txt 文件，放在网站根目录，效果很明显，能禁止：百度 ，Google， 雅虎 等搜索引擎爬虫，这段代码定义的是禁止所有搜索引擎爬虫，为何你们腾讯soso就那么赖皮，不遵守协议，使劲的爬我的网站，而且频率如此之高，让人气愤！这已经影响我网站的正常访问。

腾讯soso,请停止你们的流氓蜘蛛爬虫

 

 

 

---------------------------------------------

根据百度的官方说明：http://www.baidu.com/search/robots.html

下面这段代码仅允许百度蜘蛛：

User-agent: Baiduspider
Disallow: 

User-agent: *
Allow: / 

果然，雅虎、谷歌等搜索引擎就不会访问我网站的内容，但soso依然不断的抓取我网站内容，流氓恶棍soso！

我想禁用soso的理由了，它频繁、大量的访问我的服务器，造成服务器资源紧张，直接影响其他网站的访问！

这种流氓行径已经存在很多年了，下面的论坛帖子作为证据：

http://www.watch-life.net/it-review/soso-large-number-of-visits.html

http://www.discuz.net/thread-861751-1-1.html

http://www.phpwind.net/read-htm-tid-1054030.html

http://www.phpwind.net/read-htm-tid-1037709.html

http://www.phpwind.net/read-htm-tid-575879.html

http://www.im286.com/thread-2790145-1-1.html

当然，你可以在百度上搜 ：soso蜘蛛