3-6和3-7(nndl)

问题

在Softmax回归的风险函数$$\mathcal{R}\left(\mathbf{W}\right)=-\frac{1}{N}\sum _{n=1}^N\sum _{c=1}^C{y}_c^{\left(n\right)}\log {\hat{y}}_c^{\left(n\right)}$$
$$=-\frac{1}{N}\sum _{n=1}^N{\left(y^{\left(n\right)}\right)}^T\log {\hat{y}}^{\left(n\right)}$$
如果加上正则化项会有什么影响？

解析

要注意的是，Softmax回归中使用的𝐶个权重向量是冗余的，即对所有的 权重向量都减去一个同样的向量𝒗，不改变其输出结果．因此，Softmax 回归往往需要使用正则化来约束其参数．此外，我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题．不加入正则化项限制权重向量的大小, 可能造成权重向量过大, 产生上溢。

问题

验证平均感知器训练算法3.2中给出的平均权重向量的计算方式和公式（3.77）等价.

解析

平均感知器（Averaged Perceptron）平均感知器的形式为：
$$\hat{y}=sgn\left(\frac{1}{T}\sum _{k=1}^K{c}_k\left({\mathbf{w}}_k^T\mathbf{x}\right)\right)$$
$$=sgn\left(\frac{1}{T}{\left(\sum _{k=1}^K{c}_k{\mathbf{w}}_k\right)}^T\mathbf{x}\right)$$
$$=sgn\left({\left(\frac{1}{T}\sum _{t=1}^T{\mathbf{w}}_t\right)}^T\mathbf{x}\right)$$
$$=sgn\left({\bar{\mathbf{w}}}^T\mathbf{x}\right)$$
其中T为迭代总回合数，$\bar{w}$为T次迭代的平均权重向量。这个方法很简单，只需要在算法3.1中增加一个$\bar{w}$,并且在每次迭代时都更新$\bar{w}$.
算法3.2：
设预测错误的样本有K个，分别为$(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_K,y_K)$并且设选取到这些样本时迭代次数为$t_k$根据上述算法知：
$w=x_1{y}_1+x_2{y}_2+\cdot \cdot \cdot +x_k{y}_k$
$u=t_1{x}_1{y}_1+t_2{x}_2{y}_2+\cdot \cdot \cdot +t_k{x}_k{y}_k$
因此，
$$\bar{w}=w-\frac{1}{T}u$$
$$=x_1{y}_1+x_2{y}_2+\cdot \cdot \cdot \cdot +x_k{y}_k-\frac{1}{T}\left(t_1{x}_1{y}_1+t_2{x}_2{y}_2+\cdot \cdot \cdot +t_k{x}_k{y}_k\right)$$
$$=\frac{T-t_1}{T}{x}_1{y}_1+\frac{T-t_2}{T}{x}_2{y}_2+\cdot \cdot \cdot +\frac{T-t_k}{T}{x}_k{y}_k$$
公式（3.77）：
$$w=\sum _{t=1}^T{w}_t{w}_t=\sum _{i=1}^{k\le t}{x}_i{y}_i\bar{w}=\frac{1}{T}w$$
$$w=\left(x_1{y}_1+\cdot \cdot \cdot +x_1{y}_1\right)+\left(x_1{y}_1+x_2{y}_2+\cdot \cdot \cdot +x_1{y}_1+x_2{y}_2\right)+\cdot \cdot \cdot +\left(\sum _{i=1}^k{x}_i{y}_i+\cdot \cdot \cdot +\sum _{i=1}^k{x}_i{y}_i\right)$$
上式中i，当第二个预测错误的样本被选取时才开始$x_2{y}_2$也就是说到达$t_2$时刻才开始加，其余$x_i{y}_i$类似到达$t_i$时刻开始加，依次$x_i{y}_i$共相加了$T-t_i$次所以：
$$w=\left(x_1{y}_1+\cdot \cdot \cdot +x_1{y}_1\right)+\left(x_1{y}_1+x_2{y}_2+\cdot \cdot \cdot +x_1{y}_1+x_2{y}_2\right)+\cdot \cdot \cdot +\left(\sum _{i=1}^k{x}_i{y}_i+\cdot \cdot \cdot +\sum _{i=1}^k{x}_i{y}_i\right)$$
$$=\left(T-t_1\right)x_1{y}_1+\left(T-t_2\right)x_2{y}_2+\cdot \cdot \cdot +\left(T-t_k\right)x_k{y}_{1k}$$
$\bar{w}$将上式除以T$$\bar{w}=\frac{T-t_1}{T}{x}_1{y}_1+\frac{T-t_2}{T}{x}_2{y}_2+\cdot \cdot \cdot +\frac{T-t_k}{T}{x}_k{y}_k$$