为什么要学习SPARK

工作三年了，之前一直是从事Android开发这块。最近股票亏了点钱（为国接盘），所以想找个快捷的方法去筛选合适的股票，我觉得这应该是很多人的自然想法。于是想到了要不搞一搞大数据开发，其实股票只是一个引子，之前也想过换换方向，从当时主流api还是2.3时代到现在Material Design时代，对App开发已经提不起什么兴趣。人生苦短，何不尝试下其他的方向。

为什么是大数据方向？一个是我之前对数据分析这方面本来感兴趣，曾经写过一个炉石传说竞技场模拟分析的APP，数据和图片都是从多玩爬的，而大数据这个概念这几年越炒越热（看看大数据概念股就知道了。。），俗话说，站在风口上，猪也能飞。当然，大数据的门槛要比App开发高多了，网上的资料比较少，大多数还是英文的，学习曲线比较陡。所以需要更多的努力和天赋

为什么是SPARK？“Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。” [1] SPARK是从事大数据分析的非常优秀的框架，最近也是升哥力荐。

记录下学习的历程一个是整理自己的思路，有产出才说明消化了。还有就是给其他相关开发者提供点思路，少踩一些坑，当然了，有些坑不亲自踩是不会知道深浅的。

接下来说下博客近期的大体思路，scala语言的介绍五章左右，spark介绍十章左右。然后算法可能会写几篇。刚好最近也不是很忙，1周两篇的节奏。

[1] Spark：一个高效的分布式计算系统