第六篇|Spark MLlib机器学习(1)

MLlib是Spark提供的一个机器学习库，通过调用MLlib封装好的算法，可以轻松地构建机器学习应用。它提供了非常丰富的机器学习算法，比如分类、回归、聚类及推荐算法。除此之外，MLlib对用于机器学习算法的API进行了标准化，从而使将多种算法组合到单个Pipeline或工作流中变得更加容易。通过本文，你可以了解到：

• 什么是机器学习
• 大数据与机器学习
• 机器学习分类
• Spark MLLib介绍

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

什么是机器学习

机器学习的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。机器学习是人工智能的一个分支学科，主要研究的是让机器从过去的经历中学习经验，对数据的不确定性进行建模，对未来进行预测。机器学习应用的领域很多，比如搜索、推荐系统、垃圾邮件过滤、人脸识别、语音识别等等。