模式识别课堂笔记极简

推倒均方差误差求导公式

 

模型：

该模型依旧是线性模型：将项看做是新的一个特征项即可，当然，模型完成的是关于的非线性映射。

 

过拟合解决方法之一：正则项

因为

所以

所以增量的影响方式通过x和w一起影响预测结果。正则项因此是有效的。

 

事实上整个模型的误差来源分为 bias and variance两个因素。

  是的无偏估计

证明如下（中心极限定理）：

同理可以证明方差是有偏估计

证明最后一步是： 

所以很容易得到是方差的无偏估计

同理得到标准差公式：是标准无偏估计

 

训练误差太大的解决方案：

1. 增加特征维数

2. 增加模型复杂度

对于2 模型复杂度的调节：

a. 与数据量有关，数据量越大可以设计得越复杂

b. 正则化系数调整

 

梯度下降法：

参考：https://www.cnblogs.com/neopenx/p/4768388.html

对于学习率的动态策略：

0. SGD ：

1.Winallia Grident Descent：  则： 

2. AdaGrad 在1 的基础上改进：

 

借鉴了L2 Regularizer 正则化

细心可以发现该项分子分母存在趋势冲突，这是为何？

训练前期，梯度较小，使得Regularizer项很大，放大梯度。

训练后期，梯度较大，使得Regularizer项很小，缩小梯度。

 

对于模型的选择可以使用K折验证法：

1. 整个数据分为：训练集、测试集。备选模型有n个。

2. 将训练集继续分为k份、轮流方式决定n组组合：k-1份为训练集，1份验证集

3. 针对每一个模型进行k-1次训练验证，计算平均指标

4. 选择指标最好的模型作为最优模型，并使用全部训练集重新训练。

5. 测试集测试

注：选择模型的时候不需要测试集参与选择，因为测试集也无法保障自己的分布更合理。