纯粹为了复习一下白天看的那几分钟的视频= =
https://www.bilibili.com/video/BV17441117dm?p=3&t=517
up讲的很清楚很好也很详细 非常适合没啥基础的 脑袋瓜转的比较慢的选手比如我食用
【基础知识】
,,范数:
举个栗子:向量 = [1,2,3,0,-5,9]
范数就是向量中非0元素的个数,即
范数就是向量离0的曼哈顿距离来着,即 通俗点就是每个值的绝对值的和
范数 = =
所以范数即 =
【正则化的目的】
在训练神经网络的时候,会用到各种参数,如果参数过多的话,就很容易出现过拟合(就是非常适用于训练集,但是对测试集有较大的偏差,也就是高方差)的现象。所以为了控制模型的复杂度,就需要正则化,一般就是在损失函数中加入一些惩罚项。
即
其中是权重矩阵,是样本,是标签,是控制正则化的强弱,是加入的惩罚项。
常用的惩罚项一般有范数和范数,即分为正则化和正则化。