深度学习里常用激活函数,目标函数

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cymy001/article/details/78649132

激活函数

线性变换的复合还是线性变换,但很多时候只做线性变换,并不能很好得解决分类问题,需要引入非线性激活函数
(0)阶跃激活函数
这里写图片描述
(1)sigmoid激活函数,tanh激活函数
这里写图片描述
(2)ReLU激活函数,Leaky-ReLU激活函数
这里写图片描述
(3)softmax激活函数
常用于分类问题的输出层
softmax(xi)=exij=1nexj

目标函数

目标函数也称为损失函数、代价函数,是深度学习里用于训练模型时的优化目标函数。

(1)二次代价函数

C=12ni=1n||yia(xi)||2
a(xi)=σ(zi)=σ(wTxi+b)=σ(j=1mwjxi,j+b)
上式中yi是实际值,a(xi)是预测值,σ(z)是激活函数
这里写图片描述

(2)交叉熵代价函数

C=1ni=1n[yiloga(xi)+(1yi)log(1a(xi))]
其中a(xi)=σ(zi)=σ(wTxi+b)=σ(j=1mwjxi,j+b),
xi=(xi,1,xi,2,,xi,m)T
上式中yi是实际值,a(xi)是预测值,σ(z)是激活函数
这里写图片描述

(3)对数似然代价函数

参考LR模型里的相关用法http://blog.csdn.net/cymy001/article/details/78153036

二次代价函数与输出层线性激活函数对应使用
交叉熵代价函数与输出层用sigmoid激活函数对应使用
对数似然代价函数与输出层用softmax激活函数对应使用

阅读更多

没有更多推荐了,返回首页