1.6 泛化能力，生成模型，判别模型

一、泛化误差

泛化能力：泛化能力是指由学习方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。
泛化误差：如果学习的模型是$\hat{f}$，那么这个模型对未知数据预测的误差就是泛化误差。

泛化误差越小，方法更有效，实际上，泛化误差就是学习到的模型的期望风险。

二、泛化误差上界

• 概念：学习方法的泛化能力分析往往是通过研究泛化误差的概率上界进行的；
• 性质：
  • 它是样本容量的函数，当样本容量增加时，泛化上界趋于0；
  • 他是假设空间容量的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大。

定理：对二分类问题，当假设空间是有限个函数的集合$F=f_1,f_2,...f_d$时，对任意一个函数$f\in F$，至少以概率$1-\delta ，0<\delta <1$，以下不等式成立：$$R(f)⩽\hat{R}(f)+\epsilon (d,N,\delta )\text{\hspace{1em}(1)}$$其中，$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}\text{\hspace{1em}(2)}$$

在式子（1）中，各因子的意义如下：

• $R(f)$为泛化误差，即表示该模型对未知数据预测的误差。
• $\hat{R}(f)+\epsilon (d,N,\delta )$为泛化误差上界；
  • $\hat{R}(f)$表示训练误差，即通过现有数据训练出来的模型，对于现有数据的误差；
  • $\epsilon (d,N,\delta )$是$N$的递减函数，$d$是指假设空间的函数个数；$N$表示$f_N$所依赖的样本容量。

根据式子（2）可知：

• 当$N$趋近与无穷时，即训练样本足够多时，$\epsilon (d,N,\delta )$趋近于$0$,
• 当$d$越大时，即假设空间容量越大，$\epsilon (d,N,\delta )$就越大。

三、生成模型与判别模型

1.基本概念

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出，这个模型的一般形式为决策函数：$$Y=f(X)$$或者条件概率分布：$$P(Y|X)$$

监督学习方法又可以分为生成方法和判别方法，所学习到的模型分别称为生成模型（如朴素贝叶斯法）和判别模型（如K邻近法，决策树、支持向量机等）

2.特点

生成方法：
1.能够还原联合概率分布$P(X.Y)$;
2.收敛速度快；
3.适用于存在隐变量¹的数据集；

判别方法：
1.学习的准确率更高，
2.简化学习问题。

---

1. 隐变量可以简单理解为：不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种东西。 ↩︎