SparkMLlib机器学习总结

一、认识

      通过百科知道如下：Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

      Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

      该工具与其他数据挖掘与机器学习的工具一样。

二、思维导图总结

                                                                   图一：Spark的宏观认识

                                                  图二：第一章星星之火的宏观认识

                                                    图三：第五章到第九章的结构

                                                      图四：第十章到第十三章的结构

三、使用总结

1.Spark 提供了大量的库，包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX等。它和weka工具一样引入R语音。

2.在Spark在算法的封装性方面表现良好，使用简单（即使简单，在语法的学习时间、实践成本依然高），基本就是实例化对象，调用对象方法，完成数据测试。