机器学习要解决的问题

为什么需要ML

1. 自动化的升级、维护
   可以自我学习，自我改善
2. 解决算法过于复杂的问题
3. 解决没有具体算法的问题

ML需要解决的问题

1. 建模问题
   从数据集中，统计、推理 学习到决策函数 $y=f(X)$

2. 评估问题
   对于一个输入$X$，决策函数的输出$y$跟实际的值之间 有一定的误差，需要构建评估系统，根据误差来判断决策函数的优劣

3. 优化问题
   找到最优解

ML分类

1. 监督学习、无监督学习、半监督学习
   $监督学习$：数据集包含数据标记，S(X,y)
   $无监督$：数据集不含数据标记，S(X)
   $半监督$：两者的结合，先无监督划分类别，然后使用有监督训练模型

2. 批量学习、增量学习

   $批量学习$：把学习过程、应用过程 分开，使用全部的训练数据来学习模型，然后在实际的场景中应用，效果不理想时，重回到训练过程。

   $增量学习$: 将学习过程 、应用过程统一起来，在实际应用中，以增量的方式学习新的内容，边学边用

3. 基于实例的学习，基于模型的学习

   $基于实例$：根据以往的经验，寻找与未知样本$x_i$相似的样本，以其输出作为预测结果

   $基于模型$：根据以往的经验，建立联系输入、输出的数学模型$y=f(X)$，将未知样本$x_i$代入模型，得预测结果

数据处理

1. 数据的采集
   a. 数据检索、数据挖掘，根据已有的数据总结归纳出新的数据
   $结构化$的数据：关系数据库
   $非结构化$的数据：文本、图片、语音、视频 等

   b. 爬虫，无数据的情况下，爬取网络数据

2. 数据清洗
   处理缺失值、异常值

3. 特征工程
   特征的抽取，选择，转换

机器学习

1. 选择模型
2. 训练模型
3. 评估模型
4. 测试模型

业务运维

1. 应用模型
2. 维度模型

ML应用

1. 数据预测
2. 股价预测
3. 推荐引擎
4. 自然语言识别
5. 语音识别
6. 图像识别
7. 人脸识别

业务场景

1. 分类问题
2. 回归问题
3. 聚类问题

面试问题

常见问题