Spark MLlib系列(一)：入门介绍

前言

最新的情况是国内BAT已经都上了spark，而且spark在hadoop上的应用，大有为大象插上翅膀的效果。个人估计在未来两到三年，spark大有代替hadoop的mapreduce的趋势。应该说spark的在使用上面的经济成本，性能优势，一站式解决能力，一定会使其大放异彩。

因为个人对spark很感兴趣，加上项目中需要使用它解决一些机器学习的问题，在网上搜集资料时发现，spark machine learning这块的资料确实太缺少了，所以决定写一spark machine learning的一系列博客（只涉及机器学习部分）。

目前考虑是，这个系列，先讲一些入门的知识，然后是一些真正的实战应用，可能涉及到推荐，聚类，分类等问题，理论涉及不会太多，分享一些接地气的干货，让大家能够真正感受到spark machine learning的魅力。

为什么使用MLlib

    

     MLlib  构建在apache spark之上，一个专门针对大量数据处理的 通用的、快速的引擎

• Speed.Spark has an advanced DAG execution engine that supports cyclic data flow and in-memory computing. Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk.
• Ease of Use .Write applications quickly in Java, Scala or Python.
• Generality.Combine SQL, streaming, and complex analytics.