损失函数

今天看一篇论文时，碰到hinge loss，不知道是个什么东西，于是上网查了下，找到了一篇介绍loss function的英文文献（http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf），还不错，于是决定翻译下，方便以后用。在这之前，先解释下损失函数吧，在统计学，统计决策理论和经济学中，损失函数是指一种将一个事件(在一个样本空间中的一个元素)映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。由此可以看出，损失函数达到最小值时，成本最小。

1.损失函数的形式定义

由式（14.1）可知损失函数包括两部分：损失项和正则项。

2.损失项

损失项有五种计算方法

(1)0-1 loss

(2) hinge loss

(3)log loss

(4)squared loss

(5)Boosting

3.正则项

下面介绍几种比较有用的正则项（式14.1的后部分）