正则化其实是一种策略,以增大训练误差为代价来减少测试误差的所有策略我们都可以称作为正则化。
从数学角度可以这样理解:正则化就是是使容易让模型过拟合的那部分参数接近了0,从而凸显出真正能代表数据的那部分参数。
(过拟合就是说,模型对训练数据过于敏感,这样反而削弱了对测试数据敏感程度,导致测试误差较大)
比如L2正则化也叫权重衰减,通过对原模型加入L2正则化项,就能让更能代表数据分布的那部分参数的作用凸显出来,而使得让模型易过拟合的那部分参数更接近0。
正则化其实是一种策略,以增大训练误差为代价来减少测试误差的所有策略我们都可以称作为正则化。
从数学角度可以这样理解:正则化就是是使容易让模型过拟合的那部分参数接近了0,从而凸显出真正能代表数据的那部分参数。
(过拟合就是说,模型对训练数据过于敏感,这样反而削弱了对测试数据敏感程度,导致测试误差较大)
比如L2正则化也叫权重衰减,通过对原模型加入L2正则化项,就能让更能代表数据分布的那部分参数的作用凸显出来,而使得让模型易过拟合的那部分参数更接近0。