什么原因吸引你钻研Spark技术

初接触Spark纯粹是出于个人兴趣。我感兴趣的技术方向主要有二，即分布式系统和函数式语言。Spark作为一套用Scala写成的分布式内存计算系统，很好地结合了这两个领域。Spark提供的Scala API本身也很类似于一套分布式、惰性求值的纯函数式语言。然而后来，越是深入探寻，便越是被Spark所吸引。Spark背后的不少想法在先前的系统中或多或少都有所体现，但Matei Zaharia博士众人非常巧妙地集众家之所长，融会贯通，克服了众多旧有特化系统中的各种缺陷，浓缩提炼出了RDD（Resilient Distributed Dataset，弹性分布式数据集）这一高度通用的抽象结构。围绕RDD这一核心，AMPLab团队以扎实的工程功底和开放的心态，打造了全新的Spark生态圈，又以Spark为核心提出了极富创意的BDAS（Berkeley Data Analytics Stack，伯克利数据分析栈）。在研究成果的工业转化方面，AMPLab团队可谓典范：他们不仅是富有远见的科学家，也是功力深厚的工程师，同时还扮演着开源社区中循循善诱的良师益友角色。正是基于以上这些原因，去年得知Spark核心团队创办Databricks后我便力求加盟，并最终幸运地得偿所愿。能与这样一群杰出的同事工作，本身就是一件令人非常兴奋的事。