各机器学习模型的损失函数

1、目录

2、前言

最近被问到一些机器学习模型的损失函数，虽然经常使用，竟然记得不怎么准确，今天来梳理复习一下。后续继续补充。

3、模型

1）感知机

感知机就是求出一个超平面，划分正负样本集。损失函数就是所有误分点到超平面的总距离：
　　$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

2）SVM

SVM俗称支持向量机，其损失函数由两部分组成：“经验损失函数”和“正则化项”。
　　$$\underset{w,b}{\min }\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda \Vert w{\Vert }^2$$
　　其中，经验损失函数也可以称为合页损失函数（hinge loss function)，下标“+”表示取正值的函数。

3）LR

LR俗称逻辑回归，其损失函数就是对数似然函数。假设$P(Y=1|x)=\pi (x)$，$P(Y=0|x)=1-\pi (x)$，那么似然函数就是$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$，因此损失函数就是：
　　$$L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]$$
　　$$=\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i)]$$

---

参考：

[1]解析损失函数之categorical_crossentropy loss与 Hinge loss
[2]深度学习-Loss函数