一种可行性Java爬虫框架

  简单的Java爬虫框架流程图，不包括容灾机制、异常处理等内容。

框架流程图

  搭建分布式爬虫系统，框架的主要工作是打通队列、存储之间的联系。之后的工作，包括爬虫策略、容灾机制、错误处理等，都是通过爬虫节点来处理。
  事实上，只要框架搭建好之后，不断完善本地爬虫策略【使用内存队列】，就能够很好的实现分布式爬虫。

爬虫节点

爬虫节点设计的主要内容，包括但不限于：
1. 爬虫深度；
2. 爬虫策略；
3. 爬虫方式；
4. 内容解析；
5. 错误异常处理机制；
6. 多线程处理；
等内容。

主要框架

目前比较完善的Java爬虫框架，主要包括
1. WebCollector，主要用于单机模式；
2. WebMagic，易于扩展，能够实现分布式爬虫策略。