无节操爬虫越来越多，看来要对服务器做一些调整

2019独角兽企业重金招聘Python工程师标准>>>

最近无节操爬虫越来越多，越来越流氓，主要体现在完全不控制速率的用一整段的 IP 地址来爬取你的网页，而且有些根本就是伪装成普通浏览器访问。尽管 OSC 对单 IP 做了并发的限制，但架不住大量的 IP 进行爬取。

OSChina 目前是专门针对爬虫用独立的 Tomcat 来处理爬虫的请求(Tomcat_Spider），而普通用户的访问走的是另外独立 Tomcat（Tomcat_User）。这个是根据 User-Agent 在 Nginx 这一端进行判断并分流的。

由于爬虫的 Tomcat 我们很少更新，在上面我们还配置了一旦爬虫 Tomcat 挂掉后就自动使用普通用户的独立 Tomcat，其实这个配置很危险。

因为今天早上又有无节操爬虫把爬虫 Tomcat_Spider 搞死了，导致大量的访问堆积到普通用户的 Tomcat_User 上，直接导致 Tomcat_User 也挂掉了！

目前已经取消了 Tomcat_User 作为 Tomcat_Spider 备用的配置。

接下来我们要将 Team 的请求也独立到一个 Tomcat_Team 之上，因为 Team 都是私密页面，爬虫访问不到，就算再出现今天早上的情况也不会影响大家使用 Team 服务。另外因为 Team 是大家工作用的系统，要保证高可用。

春节前将会完成此配置调整，包括启用 Team 的 HTTPS 支持。

转载于:https://my.oschina.net/javayou/blog/365450