Spark之火可以燎原——访Spark亚太研究院院长、首席专家王家林

Spark，星星之火即将燎原

——访Spark亚太研究院院长、首席专家王家林

大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长。目前Spark的技术在国内还属于起步阶段，为了更好地帮助大家了解Spark技术特点及应用前景，我们走访了Spark亚太研究院的院长王家林。

 

王家林， Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者，在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0源码研究。

王院长您好，据我们所知，Spark技术现在已经成为云计算大数据方向的热点技术，在国内的应用也越来越广泛，Spark亚太研究院作为Spark技术在国内的专业研究推广机构，您能否介绍下Spark目前在业界的一个应用情况？

 

Spark是最新一代的大数据处理框架，在数据统计分析、数据挖掘、流处理、图技术、机器学习、误差查询等方面都有自己的技术，从我们的技术研究和长期业界观察来看，Spark会成为大数据时代集大成的计算框架。

Spark技术在国内外的应用开始越来越广泛，它正在逐渐走向成熟，并在这个领域扮演更加重要的角色。国外一些大型互联网公司已经部署了Spark。例如：一直支持Hadoop的四大商业机构（Cloudera、MapR、Hortonworks、EMC）已纷纷宣布支持Spark；Mahout前一阶段也表示，将不再接受任何形式以MapReduce实现的算法，同时还宣布了接受基于Spark新的算法；而Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark；另外，Google也已经开始将负载从MapReduce转移到Pregel和Dremel上；FaceBook也宣布将负载转移到Presto上……而目前，我们国内的淘宝、优酷土豆、网易、Baidu、腾讯等企业也已经使用Sp