第八周学习笔记

第八周学习笔记

学习内容

CS229复习与思考

1.Softmax

Softmax是广义线性模型假设y服从多项分布时，导出的线性多分类模型，在推导过程中，需要注意的是假设总类数有$k$类时，第$k$类的概率${\varphi }_k$不是参数，而由之前的$k-1$个参数决定，所以推导过程在$k-1$维的$y$和$\eta$下进行，值得注意的是，应用过程中我们优化的似然函数为
$$l(\Theta )=\prod _{i=1}^k\frac{e^{{\theta }_i^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}$$
但是，按照之前导出的结果，似然函数应该是
$$l(\Theta )=\prod _{i=1}^{k-1}\frac{e^{{\theta }_i^{T}x}}{1+{\sum }_{j=1}^{k-1}{e}^{{\theta }_j^{T}x}}\frac{1}{1+{\sum }_{j=1}^{k-1}{e}^{{\theta }_j^{T}x}}$$
于是出现了不一致的情况，但仔细观察，对于第一个式子的一个解$\Theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$，在$\Theta$的任意一行增加一个常数$c$，并不改变似然函数的值，因此，${\theta }_1,{\theta }_2,...,{\theta }_k$可以随意调整，于是我们固定${\theta }_k$为0向量，便得到上述第二个式子，因此两个式子的解是等价的。使用第一个式子来解决问题，可以满足代码的一致性，不需要为第k类单独编写代码。

2.拉普拉斯平滑（Laplace smoothing）

贝叶斯统计的核心思想之一是通过证据来更新信念，其中，更新之前的信念就是先验概率（分布），证据就是抽样结果，更新后的信念就是后验概率（分布），拉普拉斯平滑和贝叶斯统计有着很大的联系。

假设我们面对问题是：估计一个人的射击命中率

我们希望在$n$次射击内估计到这个人的命中率$p$，则$n$次射击的命中数X服从二项分布$B(n,p)$。

一个极端的例子

现在这个人开了一枪，结果只有两种，此时，使用传统频率学派的方法，假设第一枪命中，则估计结果$p=1$，否则，估计结果$p=0$，显然，这种估计方法是不合适的，频率学派的估计正确性依赖于大数定律，在$n$较小的时候，估计的结果就十分不准确，因此无法解决小样本的参数估计问题。

解决方法

Laplace平滑提供了解决方法，若射中次数为$a$次，则命中率估计为
$$\frac{a+1}{n+2}$$作为
$$\frac{a}{n}$$的替代

为什么？

事实上Laplace平滑正是使用贝叶斯方法来估计$p$的结果。首先，最为重要的一点是，在贝叶斯统计中，待估计的变量$p$已经不再是一个确定的数字，而是一个随机变量，由于我们对枪手一无所知，不妨设$p$的先验分布是一个均匀分布$p\sim U(0,1)$，设$\pi (p)$是$p$的概率密度函数（Probability density function）
$$\pi (p)=\{\begin{array}{ll}& 1,0<p<1\\ & 0,others\end{array}$$
假设$n$次实验过后，枪手命中$a$次（事件A），根据贝叶斯公式，后验分布
$$\begin{array}{rl}\pi (p|A)& =\frac{\pi (p)\left(\genfrac{}{}{0ex}{}{n}{a}\right)p^a(1-p{)}^{n-a}}{{\int }_0^1\pi (p)\left(\genfrac{}{}{0ex}{}{n}{a}\right)p^a(1-p{)}^{n-a}dp}\\ & =\frac{p^a(1-p{)}^{n-a}}{{\int }_0^1{p}^a(1-p{)}^{n-a}dp}\end{array}$$
用均值来估计$p$有
$$\begin{array}{rl}\hat{p}& =E[p]\\ & ={\int }_0^{1}p\pi (p|A)dp\\ & =\frac{{\int }_0^1{p}^{a+1}(1-p{)}^{n-a}}{{\int }_0^1{p}^a(1-p{)}^{n-a}dp}\\ & =\frac{B(a+2,n-a+1)}{B(a+1,n-a+1)}\\ & =\frac{\Gamma (a+2)\Gamma (n+2)}{\Gamma (a+1)\Gamma (n+3)}\\ & =\frac{a+1}{n+2}\end{array}$$
即为Laplace平滑的结果

3.VC维

对于假设集合$H$，$VC(H)$表示$H$能达到$0$误差的最大的点集基数，若存在一个最大的点集，$H$可以在其上达到$0$误差意味着任意改变这些点的标签，$H$仍然可以完美划分它们，则VC(H)就是这个点集的基数。需要注意的是上面的存在和任意，存在表明，我们能找到一个点集，而不一定要对所有点集满足，因为我们可以设计一个所有点都在一跳直线上的点集，使得$H$不可能完美分割它们。任意表明，一旦我们固定了点集，对这个点集上的点任意分配标签，$H$都能分割它们，这意味着，即便我们可以设计线性可分的大的点集，$H$的$VC$维仍然要满足其他可能的标签分配情况。

2.Problem Set#2

( a )不会写
( b ) 令$\gamma =\frac{1}{m}log\frac{k}{\delta }$，解得，$m=\frac{1}{\gamma }log\frac{k}{\delta }$

3.Problem Set#3

( a )
${\hat{\epsilon }}_{S_{cv}}({\hat{h}}_i)$与${\hat{\epsilon }}_{S_{train}}({\hat{h}}_i)$关于$hoedffding$不等式的证明是相同的，因此，只要以$\beta m$代$\beta$，以$\frac{\delta }{2}$代$\delta$即可得到
$$|\epsilon ({\hat{h}}_i)-{\hat{\epsilon }}_{S_{cv}}({\hat{h}}_i)|\le \sqrt{\frac{1}{2\beta m}log\frac{4k}{\delta }}$$
( b )
$\forall i$，有
$$\epsilon (\hat{h})\le \epsilon ({\hat{h}}_i)\le {\hat{\epsilon }}_{S_{cv}}({\hat{h}}_i)+\gamma \le \epsilon ({\hat{h}}_i)+2\gamma$$
所以，在$1-\frac{\delta }{2}$的概率下
$$\epsilon (\hat{h})\le \underset{i=1,...,k}{\min }\epsilon ({\hat{h}}_i)+\sqrt{\frac{2}{\beta m}log\frac{4k}{\delta }}$$
( c )
将问题中式子带入( b ) 中即得结果
2.
( a ) VC维是1，若左边的点是正类，则不可区分
( b )VC维是2，解决了( a )中的问题，但对于普通的三个点的集合，若从x轴自左向右看，分别是正、负、正，则不可区分。
( c )VC维是1，假设存在点$A,B$可以被h划分，h可以某时将AB同时划分为正类，但改变AB的标签使两者属于不同类别时，h便无法划分AB
( d )VC维是2，但对于普通的三个点的集合，若从x轴自左向右看，分别是正、负、正，则不可区分。
3.
( a )
$$\frac{\partial J(\theta )}{\partial \theta }=(X\bar{\theta }+X_i{\theta }_i-\vec{y}{)}^T{X}_i+\lambda s_i$$$${\theta }_i=\frac{{\vec{y}}^T{X}_i-\lambda s_i-{\theta }^T{X}^T{X}_i}{X_i^T{X}_i}$$

若$s_i$大于零，则${\theta }_i$最小取零，否则${\theta }_i$最大取0。
( b )( c )，因为没有课程数据，就直接用第一次报告使用的Kaggle房价数据。
分别使用l1正则化和l2正则化得到结果
代码在这

l1正则化：

l2正则化：

最后二者得到的参数在测试集上的表现为

正则化方法	l1	l2
误差	0.252	0.247

由结果可见，两个正则化方法在表现相差不大的情况下，l1正则化得到的参数分布是稀疏的，也就是有很多分量是0，因此我们可以使用l1正则化来进行特征剔除，将使用l1正则化方法训练出的对应${\theta }_i$为0的特征$i$剔除，以减少过拟合风险。