《神经网络与机器学习》笔记#7——第2章通过回归建立模型（2.4-2.8）

2.4 正则最小二乘估计和MAP估计之间的关系

同2.3节中邱锡鹏的《神经网络与深度学习》一书中对最小二乘法的描述，设代价函数为环境的N次试验的期望误差的平方和，即：

可以看出来上式和ML估计器是等价的，缺乏稳定性，因此加入正则化参数λ与欧几里得范数平方的项，时表示我们对观测模型有完全的信心，反之则表示完全没有信心，正则化参数λ就是需要在两个极端情况之间做出选择。而加入正则项的函数与MAP估计就是等价的，解被称为正则最小二乘解。

2.6 最小描述长度原则

由Rissanen从柯尔莫哥洛夫复杂性理论（即数据序列的算法（描述）复杂度是用于打印出这个序列然后终止的最短二进计算机程序的长度）中得到灵感，提出最小描述长度原则（MDL）。

MDL原则将规律和压缩能力两个观察组合在一起，将学习视为数据压缩，也即，

MDL原则：给定一个假设集合，一个数据序列d，我们尝试寻找中的特定的假设或者中某些假设的组合来最大化地压缩数据序列d。

 书中集中讨论最古老且简单的MDL原则版本，即概率模型的简单两部分编码MDL原则。这里的简单指的是对数据序列按照最短或最小冗余方式编码，而非优化方式。

这里我们假定一个候选模型或模型类M，M的所有元素都是概率源，后续用p而非表示点假设，我们要寻找的是能最好解释给定数据序列d的概率密度函数，将p的描述长度记为，在p的帮助下编码后的数据序列d的描述长度记为，则有：

1.模型阶选择

令定义一组线性回归模型，相应的参数向量为，其中模型阶k=1，2，...；权空间维数是增加的。针对训练样本集，基于上述提到的两部分编码MDL原则，我们使用下式最小的第k个模型：

上式中第一项为误差项（与模型以及数据有关），第二项和第三项为复杂度项（仅与模型有关），第一项中 为参数向量的先验分布，第三项是关于模型阶k的阶，一般在样本集N足够大时，第三项会被第二项覆盖。

注：当上式有不止一个最小化值时，选择复杂度项最小的模型，但仍有多个候选模型时，随机选择其中一个即可。

2.MDL原则的贡献

(1)奥卡姆剃刀：接受匹配数据的最简单解释；

(2)MDL原则是对相同的模型去选择估计器，且随着样本个数增加，逐渐收敛于真实的模型阶。

2.7 固定样本大小考虑

在参数估计中，由于最大似然估计和最小二乘法仅基于观测模型（即训练样本），导致解的非唯一性和不稳定性（过拟合）。考虑如下的一般回归模型，其中是关于回归量x和模型参数w的确定函数，是期望误差：

 图(a)表示随机环境的数学模型，其参数为向量w，是对随机环境的数学描述，用于解释或预测由回归量x产生的响应d；图(b)表示环境的物理模型，其中是未知参数向量w的估计，目的是编码由训练样本表示的试验知识：

 输入向量x的实际响应记为：

代价函数的最小化值：

(a)

记为在整个训练样本集上所取得平均算子，和互换，则(a)式等价为：

(b)

 由：

(c)

 代入(b)式：

第三项由于期望误差和 及不相关，所以为0。

所以上式可化简为：

 第一项为 期望误差 的方差，属于固有误差，因此估计量将最小化回归函数和逼近函数之间距离平方的总体平均。也即，对的效果的自然测度如下式：

1. 偏置-方差困境

 由可得：

 仿照(c)式改写：

则有：

 

 是逼近函数的平均值的偏置，是逼近函数的离散，所谓偏置-离散困境，即通过有限容量的训练样本进行学习的复杂物理模型中，获得较小偏置的代价是大的离散。仅当样本容量无限大时才能同时消除偏置和离散。如下图所示去理解上述的公式。

 2.8 工具变量方法

 设含有加性噪声（即和回归量是相加关系的噪声）的回归量如下：

(d)

 是伴随第i次试验的观测的噪声的测量。

(d)式ML估计器公式可得：

 其中：

 是均值为0的白噪声的相关矩阵，有：

 其实等效于MAP估计器，这说明加性噪声反而使得估计器更加稳定了，虽然这是以引入偏置为代价的。

为了在有噪声的情况下获得渐近无偏的w的解，采用工具变量方法，引入工具变量集，其中工具向量与噪声回归量z具有相同维度，其具有以下性质：

性质1：工具向量和无噪声回归量x之间高度相关；

性质2：工具向量和测量的噪声向量v是统计独立的。

 

通过上述性质，可以得到：

1.噪声回归量z和工具向量是相关的，互相关矩阵为：

 2.期望响应d和工具向量是相关的，互相关向量为：

 修正公式为：

对《神经网络与机器学习》一书的个人笔记暂停一段时间，有空可能会再更新...