1.线性分类计算损失函数时，为什么要加入正则化损失：
1）如果W满足：L=0，则aW(a>1)也满足L=0。所以无法确定哪个更优。
2）正则化也可以减轻模型的复杂度。
3）正则化可以保证每个特征有一定的效用，不会使某一特征特别重要，提高模型的泛化能力，避免过拟合。
（正则化可以对大数值权重进行惩罚，可以提升其泛化能力，因为这就意味着没有哪个维度能够独自对于整体分值有过大的影响。举个例子，假设输入向量![x=[1,1,1,1]](https://i-blog.csdnimg.cn/blog_migrate/40104f23979cfc7b771ed7cd5a4d7480.png)
，两个权重向量![w_1=[1,0,0,0]](https://i-blog.csdnimg.cn/blog_migrate/242eae720521c51f65bdf94b670a4b23.png)
，![w_2=[0.25,0.25,0.25,0.25]](https://i-blog.csdnimg.cn/blog_migrate/7a91db16a407759ee00783eed9b885a0.png)
。那么
，两个权重向量都得到同样的内积，但是
的L2惩罚是1.0，而
的L2惩罚是0.25。因此，根据L2惩罚来看，更好，因为它的正则化损失更小。从直观上来看，这是因为的权重值更小且更分散。既然L2惩罚倾向于更小更分散的权重向量，这就会鼓励分类器最终将所有维度上的特征都用起来，而不是强烈依赖其中少数几个维度。这一效果将会提升分类器的泛化能力，并避免过拟合。）
2.目前接触的参数和超参数
1）参数：评分函数中的W和b，实际处理中将b放入W中。
2）超参数：（需要人为设置的）
（1）KNN分类器中的K值
（2）损失函数
中delta
和正则化强度
（3）最优化过程W-rl*dW中的学习率rl
扫一扫
344
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
