机器学习简介

机器学习组成部分

• 数据：所有模型的支柱，数据中信号越多，预测越准确
• 算法：根据解决问题的性质，选择应对的算法
• 硬件和软件

机器学习类别

• 有监督机器学习
• 无监督机器学习
• 半监督机器学习
• 强化学习

归根结底，机器学习就是从数据中进行学习（历史数据 / 实时数据）并且基于模型训练来进行决策（离线或实时决策）

有监督机器学习

• 要基于标注数据来训练模型
• 标注是在数据中使用正确的答案或结果
• 模型从训练数据中学习到的内容还有标签 / 结果 / 目标列，并且模型会使用该列对未知数据进行预测
• 一条完整的具有所有值的记录被称为观察
• 至少需要一个输入特征 / 属性以及结果列来训练模型

评估模型的性能：

• 应用评估指标并且可以测量性能结果
• 通过将训练数据化为训练集和测试集，训练集上训练模型，测试集上检测性能

无监督机器学习

• 基于类似的数据种类来训练模型，数据集并不包含任何标签或结果 / 目标列
• 实质上基于没有任何正确答案的数据来训练模型
• 机器会尝试找出数据中的隐藏模式和有用信号
• 另一个用途是弄明白是否存在任何不同寻常的情况或者异常情形

常用的算法：

• 聚类算法（K均值、层次聚类）
• 维度降低技术
• 主题模型
• 关联规则挖掘

无监督学习的总体理念：发现并且找出模型，并非预测

有监督、无监督的差异

• 无监督不需要标注的训练数据并且不提供预测
• 无监督中的模型的性能无法估算

半监督机器学习

• 介于有监督和无监督之间，同时运用两种技术
• 主要处理混合类型数据集，同时包含标注和未标注的数据
• 有时只有未标注，可以手动标注一部分数据，这部分称为“伪标注”
• 基于伪标注来训练模型，使用预测标注其余数据，全部转换为标注数据
• 下一步基于所有标注数据集重新训练模型