目前企业应用Spark最大的困难是什么

据我有限的了解，最大的困难还是人才方面的短缺。无论Spark还是Spark所使用的Scala，都还是相当年轻的事物。虽然它们各自都已经吸引了大批富有远见和才华的开发者，但不得不说距离大规模普及还有相当长的一段路要走。另一个相关问题是Spark方面的参考材料还不多。目前社区内开发者们主要的学习方式还限于阅读有限的官方文档、源码、AMPLab发表的论文，以及社区讨论。所幸Fast Data Processing with Spark一书的中文版已经在翻译中；由O'Reilly出品，来自Spark核心团队的Learning Spark今年也有望面世。

- 根据您的了解，目前Spark发展的情况如何？

评价一个开源项目发展情况的重要指标之一就是该项目的贡献者人数。对于这一点，在去年12月份的Spark Summit上，Spark的创始人Matei Zaharia博士十分自豪：“过去六个月内，Spark的活跃开发者人数超过了Hadoop MapReduce！”那时Spark贡献者总人数是103人；而今四个月过去了，根据GitHub最新的统计，这一数字已然增长到了153人。特别值得一提的是，在最近发布的几个版本中，华人开发者的人数飞速上升。Spark项目主站中Powered by Spark页面中不断增长的公司列表也是Spark在工业界稳步推进的有力证明。这份列表中不乏阿里巴巴、百度、点评、搜狐等中国企业的身影。如前所述，Spark的推广还任重道远，但其良好的向下兼容性、相对传统方法的显著优势，以及来自社区的巨大热情令我非常看好Spark的发展前景。