2019.5.6损失函数

一、损失函数定义：
L：预测值与真实值的差异
二、损失函数的分类：
回归损失和分类损失
1.回归损失
（1）均方误差损失
L=1/N*SUM(Y1-Y2)^2
(2) 平均绝对误差损失函数
（3）均方误差对数损失函数
（4）平均绝对百分比误差损失函数
2.分类损失函数
Logistic　Regression采用最大似然的方法求参数
二分类
（1）logistic损失函数
（2）负对数似然损失函数
多分类
（3）交叉熵损害函数
（4）hinge损失函数
（5）指数损失函数
三、选择
Relu+mse
均方误差无法处理梯度消失问题，leak relu 能减少梯度消失问题
sigmoid+logistic
sigmoid 引起梯度消失问题，logistics避免了梯度消失
softmax +logistic
常见输出层