知识卡片 损失函数的正则化

损失函数的正则化

范数(Norm): 用来度量某个向量空间(或矩阵)中每个向量的长度或大小。

向量范数——L1和L2最常用

矩阵范数

线性回归的正则化

使用训练集拟合线性回归方程时，如使用多项式拟合时，一般来说拟合方程的次数越高拟合效果越好，损失函数越小，但拟合函数也变得更加复杂。

在某些异常的情况下，如训练的数据量较小或者特征过多时，测试集中如果出现先前训练集中没有的样本，预测结果未必有效，使得分类结果的方差较大，出现过拟合，由此可见损失函数过小也不可取，意味着模型的通用性不够ÿ