第一章主要在讲一些数学基础:概率论,决策论,信息论
validation set
评估当前参数的表现,用于挑选超参数
如果数据量很⼤,那么模型选择很简单。使⽤⼀部分可得到的数据,可以训练出⼀系列的模型,也可以得到某个给定模型的⼀系列复杂度的参数值。之后在独⽴数据上(有时被称为验证集)⽐较它们,选择预测表现最好的模型即可。如果模型的设计使⽤有限规模的数据集迭代很多次,那么对于验证数据会发⽣⼀定程度的过拟合,因此保留⼀个第三⽅的测试集是很有必要的。这个测试集⽤来最终评估选择的模型的表现
但是在许多实际应⽤中,训练数据和测试数据都是很有限的。为了建⽴好的模型,我们想使⽤尽可能多的可得到的数据进⾏训练。然⽽,如果验证机很⼩,它对预测表现的估计就会有⼀定的噪声。解决这种困境的⼀种⽅法是使⽤交叉验证(cross validation),如图1.18所⽰。这种⽅法能够让可得到数据的S−1
S ⽤于训练,同时使⽤所有的数据来评估表现。当数据相当稀疏的时候,考虑S = N的情况很合适,其中N是数据点的总数。这种技术叫做“留⼀法”(leave-one-out)
最大后验估计:
p ( w ) p(w) p(w)是先验分布,代表在没有观测数据的情况下, w w w 的概率
p ( D ∣ w ) p(D|w) p(D∣w)是似然函数,代表用参数 w w w 来估计 D D D 的分布
p ( w ∣ D ) p(w|D) p(w∣D) 是后验分布
在贝叶斯的视角,代表允许我们在观察到D之后以后验概率的形式评估w的不确定性
在频率派的视角,参数
θ
\theta
θ 是数据集
D
D
D 的一个固定的参数,而贝叶斯派则认为,只有一个单一的数据集D(即实际观察到的数据集),而参数的不确定性是通过w的概率分布来表达的。
贝叶斯的观点的一个优势是自然的引入了先验分布,具有任何合理先验的贝叶斯方法将导致一个不那么极端的结论
高斯分布
多项高斯分布
最大似然估计
高斯分布的似然估计:
无偏估计量:无偏估计的数学证明和分析
决策论
如果后验概率小于某个阈值,将会拒绝做出识别
生成模型:明确或隐含地对输入和输出的分布进行建模的方法被称为生成模型,因为通过对它们进行采样,有可能在输入空间生成合成数据点
判别模型:直接对后验概率进行建模的方法被称为判别模型
判别函数:直接把输入映射到标签,此时概率不起作用
后验概率有很多优势让我们选择它:
信息论
熵用来衡量一个分布的不确定性程度
⽆噪声编码定理 (noiseless coding theorem)(Shannon, 1948)表明,熵是传输⼀个随机变量状态值所需的⽐特位的下界
最⼤化微分熵的分布是⾼斯分布
**KL散度:**考虑某个未知的分布p(x),假定我们已经使⽤⼀个近似的分布q(x)对它进⾏了建模。如果我们使⽤q(x)来建⽴⼀个编码体系,⽤来把x的值传给接收者,那么,由于我们使⽤了q(x)⽽不是真实分布p(x),因此在具体化x的值(假定我们选择了⼀个⾼效的编码系统)时,我们需要⼀些附加的信息。我们需要的平均的附加信息量(单位是nat)为
注意KL散度不是对称的,KL散度可以用来衡量两个分布的差异(减去一项就是交叉熵)
Jensen不等式,对于凸函数: