Spark MLlib (机器学习库)

机器学习

机器学习是啥？
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

传统机器学习

• 有监督学习（例如有y=kx+b,有y值）
• 无监督学习（无y值，聚类分类）

人工智能

• 深度学习
• 强化学习
• 迁移学习

机器学习的使用流程

在数据预处理阶段又大数据工程师进行数据处理，将数据分析师所需要的特征值从海量数据的数据源中提取出来，交给数据分析师，有时，数据预处理也又数据分析师来做。
通过所需要的特征来进行评价，不断训练模型，使得误差在接收范围内

如上图，通过色泽，根提，敲声的特征可以判断一个瓜是否是好瓜，我们通过对训练集进行模型训练，然后将测试集代入，如果误差值在接受范围内，则模型训练完成，否者直到