机器学习笔记之五——目标函数、经验风险与结构风险、正则项

一、常见的目标函数（loss/cost function）

 

二、经验风险与结构风险

   经验风险 L(f) 就是以上损失函数，描述的是模型与训练数据的契合程度。

  结构风险Ω(f)对应于过拟合问题，用正则项解决过拟合是结构风险的课题。

 

三、正则项

正则项原本有两种，L1正则项与L2正则项，后面还出现了L1和L2的中庸形态——Elasitc Net。

  首先，L1正则项和L2正则项的公式如下图，它们的作用都是在某个参数值Θ过大时给予惩罚，即让它的J(Θ)变大。

  而两者之间的区别在于，L2时对Θ的平方求和，而L1对Θ的绝对值求和。

 

引申一个问题：

在我们使用L1正则化的时候，往往会导致稀疏解（有些特征对应的Θ为0），而L2却不会，这是为什么？