8.31 关于 深度学习中的 L1,L2 正则化

纯粹为了复习一下白天看的那几分钟的视频= =

https://www.bilibili.com/video/BV17441117dm?p=3&t=517

up讲的很清楚很好也很详细 非常适合没啥基础的 脑袋瓜转的比较慢的选手比如我食用

【基础知识】

，​​​​​​，范数：

举个栗子：向量 = [1,2,3,0,-5,9]

范数就是向量中非0元素的个数，即

范数就是向量离0的曼哈顿距离来着，即 通俗点就是每个值的绝对值的和

范数 =  =

所以范数即 = 

【正则化的目的】

在训练神经网络的时候，会用到各种参数，如果参数过多的话，就很容易出现过拟合（就是非常适用于训练集，但是对测试集有较大的偏差，也就是高方差）的现象。所以为了控制模型的复杂度，就需要正则化，一般就是在损失函数中加入一些惩罚项。

即 

其中是权重矩阵，是样本，是标签，是控制正则化的强弱，是加入的惩罚项。

常用的惩罚项一般有范数和范数，即分为正则化和正则化。