机器学习基础知识

---

概述

机器学习(Machine Learning, ML) 是使用计算机来彰显数据背后的真实含义，目的是把数据转换成有用的信息。机器学习是一门多领域交叉学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

一、机器学习分类

1.1 主要任务

• 分类：将实例数据划分到合适的类别中。 应用实例：猫狗分类（二分类），手写数字的识别（多分类）
• 回归：主要用于预测数值型数据。 应用实例：股票价格波动的预测，房屋价格的预测等。

1.2 分类方式

机器学习方法种类繁多，最常用的分类方式是根据是否在人类监督下学习分为：监督学习、非监督学习、深度学习和强化学习

1.3 监督学习

机器学习模型对历史数据进行训练，进而将训练好的模型用于分类或回归，监督学习训练的数据自身带着“标签（label）”，即：每一组特征变量对应的目标变量是确定的。

例如：手写数字的识别项目中，我们已知每一张手写图片对应的数字；股票价格波动的预测项目中，我们已知历史每一时刻对应的股票价格。

1.3.1 判别式模型

假设我们有训练数据$(X,Y)$，$X$是特征集合，$Y$是类别标记。这时来了一个新的样本$x$，我们想要预测它的类别$y$。监督学习又根据件概率$P(x|y)$作作为新样本的分类。

判别式模型根据训练数据得到分类函数和分界面，然后直接计算条件概率$P(y|x)$，我们将最大的$P(y|x)$作为新样本的分类。判别式模型是对条件概率建模，学习不同类别之间的最优边界，无法反映训练数据本身的特性，能力有限，其只能告诉我们分类的类别。

1.3.2 生成式模型

生成式模型一般会对每一个类建立一个模型，有多少个类别，就建立多少个模型。比如说类别标签有｛猫，狗，猪｝，那首先根据猫的特征学习出一个猫的模型，再根据狗的特征学习出狗的模型，之后分别计算新样本$x$ 跟三个类别的联合概率 $P(x,y)$ ，然后根据贝叶斯公式：$$P(y|x)=\frac{P(x,y)}{p(x)}$$分别计算$P(y|x)$，选择三类中最大的$P(y|x$