lzyjlj的博客

原创 浅谈范数在神经网络中的作用

范数主要是对矩阵和向量的一个表述，在机器学习之中经常频繁出现的话题：如何防止模型过拟合与规则化参数。我们在训练模型的时候会尽可能小的减小损失，而在减小损失的同时我们也需要让我们的模型较好的拟合我们的训练集，而规则化参数则是就是防止我们的模型过分的拟合训练集。我们想要让模型达到一个比较好的效果的时候，难免会对神经网络进行加大加深，但是同样也会导致参数的增多。这样模型的复杂度同样也上去了，在此我们需要引入一个损失函数来对模型进行一个规范，在使其有较好的效果的同时，能防止模型出现过拟合的情况，这里我们引入了范数。