老板/员工流式并行计算模型

        随着大数据时代的到来，人们越来越频繁地需要处理越来越大规模的数据。传统的单线程处理模式已经远远不能满足人们的需要，于是各种分布式计算系统如雨后春笋般不断涌现，其中包括了基于Map-Reduce并行计算的Spark，Hadoop等系统，以及Hdfs，HBase之类的基于分布式存储系统。不过这些系统固然能够处理人们难以想象的海量数据，但由于这类系统考虑了方方面面的繁琐问题，导致这些分布式系统变得无比复杂。开发人员在开发过程的过程中不仅需要考虑分布式环境下带来的制约，还必须在需要极其繁琐配置的真正的分布式环境中才能享受这些分布式系统带来的好处。而实际上，很多所谓的“大数据”其实完全没有大到必须使用这些重量级系统来处理的程度。例如数据量在1G左右的线性处理问题。当前的绝大多数电脑使用多线程并行计算已经能在较短的时间内解决这类问题，使用重量级分布式系统开发一个解决方案，然后在部署到集群无异于杀鸡使用宰牛刀。另一方面，如果开发者只开发了一个分布式解决方案却没把它部署到集群运行，这种伪分布式方案实际上比单纯的多线程并行方案慢上许多倍，这是由于这些重量级系统本身繁琐的处理过程或者过多地使用文件系统导致的。

        为了解决上述问题，使得开发者在需要利用并行计算来达到效率提升的时候能够更加高效安全地实现。针对常见的流式并行计算问题，本文提出了一种高效实用而且轻量级的并行计算模型。该模型的工作原理酷似老板与员工合作完成任务的模式，因此本文将该模型命名为老板/员工流式并行计算模型。

     更多信息，参见作者个人主页Jianping Cai's Research Page。