损失函数

转自支持向量机通俗导论的部分：http://blog.csdn.net/v_july_v/article/details/7624837

一、 监督学习实际是一个经验风险或结构风险函数的最优化问题。风险函数度量平均意义下模型预测的好坏，模型每         一次预测的好坏用损失函数来度量。它以假设空间 F 中选择模型 f 作为决策函数，对于给定的输入 x ，由 f(x) 给        出对应的 Y ，这个输出的预测值 f(x) 与真实值可能一致也可能不一致，用一个损失函数来度量预测错误的程度。        损失函数记为 L(Y,f(x)).

二、常用的损失函数：

三、关于如何选择模型：

      监督学习有两种策略：经验风险最小化 、结构风险最小化

     (1)  经验风险最小化: 经验风险最小化的策略认为，经验风险最小的模型就是最优的模型，则按照经验风险最小化求最优模型就是求解如下最优化问题：

                                        

     当样本容量很小时，经验风险最小化的策略容易产生过拟合的现象。结构化风险最小化可以防止过拟合。

   (2)   结构化风险最小化： 结构风险就是在经验风险的基础上加上标示模型复杂度的正则化项或罚项，结构风险定义：

                      

        其中J(f)是模型复杂度，模型 f 越复杂，J(f) 越大，模型越简单。系数拉姆塔>=0是系数，用来权衡经验风险和模型复杂度。

        结构风险最小化的策略认为：结构风险最小的模型是最优的模型，所以求最优的模型就是求解下面的最优化问题：