k均值的损失函数_损失函数

损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：

其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ。

一、损失函数中正则化项L1、L2

正则化(Regularization)

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作-norm和-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归(岭回归)。下图是Python中Lasso回归的损失函数，式中加号后面一项即为L1正则化项。

下图是Python中Ridge回归的损失函数，式中加号后面一项即为L2正则化项。

一般回归分析中回归表示特征的系数，从上式可以看到正则化项是对系数做了处理(限制)。L1正则化和L2正则化的说明如下：

L1正则化是指权值向量中各个元素的绝对值之和。

L2正则化是指权值向量中各个元素的平方和然后再求平方根(可以看到Ridge回归的L2正则化项有平方符号