搜狗大反击

 太恶劣了，搜狗完全无视任何robots.txt，但它的条款中竟然蓄意欺骗人，说它会支援robots.txt：

sogou spider支持robots协议，您可以在网站的根目录放置robots.txt。
robots.txt的规则请参阅http://www.robotstxt.org/。
但是新更新的robots.txt可能得过几个星期才能体现出效果来。

我的robots.txt中禁止搜寻和indexing的部份已经有一年半未动过了。之前已经封禁过一次的了，那次不记得是什么robot，疯狂地下载，连带网站被DoS了。但最近忽然发现搜狗又很频密地index我的禁地。虽然不如有些人所说每秒一次那么令人髪指，但也好不到那里去，这些情况很多人都投诉过。对于这些流氓搜寻引擎，我也不是什么善男信女：


Rewritecond %{HTTP_USER_AGENT} "^Sogou"
RewriteRule .* http://www.sogou.com/ [L,R=301]


一招还嫌不够，再来另一招必杀技：


iptables -A INPUT -m limit -p tcp --tcp-flags SYN,RST,ACK,FIN ACK -s 220.181.0.0/16 --dport 80 --limit 3/minute --limit-burst 1
iptables -A INPUT -j DROP -p tcp -s 220.181.0.0/16 --dport 80


不是单纯的DROP，我是有心玩的。还有，似乎搜狗会动用多个IP做robot，一个个IP来block不及围骰通杀来得痛快。况且百度也是用同一段IP的，就让百度和搜狗自行决定每分钟三个packet怎样分配吧。