机器学习基本概念

相关定义

什么是学习？

如果一个系统能够通过执行某个过程改进它的性能，这就是学习。（赫尔伯特·西蒙）

什么是机器学习？

对于某给定的任务$T$，在合理的性能度量方案$P$的前提下，计算机程序可以通过自主学习任务$T$的经验 $E$；随着提供合适，优质，大量的经验$E$，该程序对于任务$T$的性能逐步提高。（任务，经验，性能）

什么是统计机器学习？

（这里主要是针对监督学习的定义）

方法=模型+策略+算法
模型：所需要学习的条件概率分布或者决策函数；其决策空间包括所有可能条件概率分布或决策函数；
策略：学习的准则；两个基本策略，经验风险最小化，结构风险最小化；
算法：学习模型的计算方法，最优化方法。

机器学习分类

1. 有监督学习
   每组训练数据有一个明确的label。在建立模型时（模型），通过建立一个学习过程（算法），将预测结果和真实结果比较，不断调整，知道达到预期的准则（策略）要求。

2. 无监督学习
   数据没有label，学习模型是为了推断出数据的一些内在结构。常见的算法有Aprior（关联分析），K-means（聚类）等。

3. 半监督学习
   数据部分有label，部分没有，是上述两种方法的结合，通常首先对没有label的数据进行建模，然后对有label的数据预测。

4. 强化学习
   输出数据作为模型的反馈，模型必须及时的作出调整。更多应用在机器人控制及系统控制领域，常见算法有Q-learning及时间差学习。

监督学习分类

1. 判别式学习
   由数据直接学习决策函数 $y=f(x)$ 或者条件概率分布$P(y|x)$ 作为预测的模型;通过寻找不同类别之间的最优分类面，反应的是异类数据之间的差异，不能放映训练数据本身的特性。
   特点：分类边界更灵活，效果更好，适用类别多，比较容易学习；缺点是不能反映数据特性；
   常见的算法有：线性回归，Logistic回归，支持向量机，决策树，分类会归树（CART），K近邻，神经网络，高斯过程，条件随机场（CRF）。

2. 生成式学习
   由数据直接学习联合概率密度分布$P(x|y)$，然后求出条件概率分布$P(y|x)$作为预测模型；统计表示数据的分布情况，能够反映数据本身的特性，但是不关心分类边界的问题。
   特点：信息更丰富，更灵活，适用于数据不完整情况；缺点是学习过程更复杂；
   常见的算法有：高斯判别分析（GDA），朴素贝叶斯（NB），混合高斯模型，贝叶斯网络，马尔科夫随机场，深度信念网络（DBN），隐马尔科夫模型（HMM）。

3. 两者的关系
   生成学习可以得到判别学习，反之不行；