机器学习损失函数

https://blog.csdn.net/wyisfish/article/details/79255211

https://blog.csdn.net/wjc1182511338/article/details/76793598

https://blog.csdn.net/wenzishou/article/details/77618992

指数损失函数（Adaboost）

学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。在Adaboost中，经过m此迭代之后，可以得到fm(x)fm(x):

Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数αα 和G：

而指数损失函数(exp-loss）的标准形式如下

可以看出，Adaboost的目标式子就是指数损失，在给定n个样本的情况下，Adaboost的损失函数为：

指数损失函数（Adaboost）

学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。在Adaboost中，经过m此迭代之后，可以得到:

Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数 和G：

而指数损失函数(exp-loss）的标准形式如下

可以看出，Adaboost的目标式子就是指数损失，在给定n个样本的情况下，Adaboost的损失函数为：

Hinge损失函数（SVM）

在机器学习算法中，hinge损失函数和SVM是息息相关的。在线性支持向量机中，最优化问题可以等价于下列式子：

下面来对式子做个变形，令：

于是，原式就变成了：

如若取，式子就可以表示成：

可以看出，该式子与下式非常相似：

前半部分中的就是hinge损失函数，而后面相当于L2正则项。

决策树损失函数

设决策树的子节点集合为T，t是T中的一个元素，该叶节点有个样本，其中k类的样本有个，共K个分类 

则损失函数可以定义为 

右边第一项表示误差大小，第二项表示模型的复杂度，也就是用叶节点表示，防止过拟化。