最小二乘法
对差值平方型的目标函数进行优化,求偏导解方程
正则化
在目标函数的基础上增加一项,该项称为正则化项或者惩罚项,防止模型过拟合
范数
有两个比较特别的范数:
L0范数:向量非0元素个数
无穷范数:向量中绝对值最大的元素
其他范数都可以套公式
比如:
L1范数:是各个元素绝对值相加的值
L2范数:各元素绝对值平方相加再开二次方
Ln范数:各元素绝对值的n次方相加再开n次方
最小二乘法
对差值平方型的目标函数进行优化,求偏导解方程
正则化
在目标函数的基础上增加一项,该项称为正则化项或者惩罚项,防止模型过拟合
范数
有两个比较特别的范数:
L0范数:向量非0元素个数
无穷范数:向量中绝对值最大的元素
其他范数都可以套公式
比如:
L1范数:是各个元素绝对值相加的值
L2范数:各元素绝对值平方相加再开二次方
Ln范数:各元素绝对值的n次方相加再开n次方