为什么需要ML
- 自动化的升级、维护
可以自我学习,自我改善 - 解决算法过于复杂的问题
- 解决没有具体算法的问题
ML需要解决的问题
-
建模问题
从数据集中,统计、推理 学习到决策函数 y = f ( X ) y=f(X) y=f(X) -
评估问题
对于一个输入 X X X,决策函数的输出 y y y跟实际的值之间 有一定的误差,需要构建评估系统,根据误差来判断决策函数的优劣 -
优化问题
找到最优解
ML分类
-
监督学习、无监督学习、半监督学习
监 督 学 习 监督学习 监督学习:数据集包含数据标记,S(X,y)
无 监 督 无监督 无监督:数据集不含数据标记,S(X)
半 监 督 半监督 半监督:两者的结合,先无监督划分类别,然后使用有监督训练模型 -
批量学习、增量学习
批 量 学 习 批量学习 批量学习:把学习过程、应用过程 分开,使用全部的训练数据来学习模型,然后在实际的场景中应用,效果不理想时,重回到训练过程。
增 量 学 习 增量学习 增量学习: 将学习过程 、应用过程统一起来,在实际应用中,以增量的方式学习新的内容,边学边用
-
基于实例的学习,基于模型的学习
基 于 实 例 基于实例 基于实例:根据以往的经验,寻找与未知样本 x i x_i xi相似的样本,以其输出作为预测结果
基 于 模 型 基于模型 基于模型:根据以往的经验,建立联系输入、输出的数学模型 y = f ( X ) y=f(X) y=f(X),将未知样本 x i x_i xi代入模型,得预测结果
数据处理
-
数据的采集
a. 数据检索、数据挖掘,根据已有的数据总结归纳出新的数据
结 构 化 结构化 结构化的数据:关系数据库
非 结 构 化 非结构化 非结构化的数据:文本、图片、语音、视频 等b. 爬虫,无数据的情况下,爬取网络数据
-
数据清洗
处理缺失值、异常值 -
特征工程
特征的抽取,选择,转换
机器学习
- 选择模型
- 训练模型
- 评估模型
- 测试模型
业务运维
- 应用模型
- 维度模型
ML应用
- 数据预测
- 股价预测
- 推荐引擎
- 自然语言识别
- 语音识别
- 图像识别
- 人脸识别
业务场景
- 分类问题
- 回归问题
- 聚类问题