一、Mish激活函数介绍
Mish是光滑的非单调激活函数，可定义为：
f(x) = x・tanh(ς(x))
其中， ς(x) = ln(1+e^x)，是一个softmax激活函数和。
这与另一个被称为Swish函数的激活函数非常相似，可以定义为：
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
Mish是光滑的非单调激活函数，可定义为：
f(x) = x・tanh(ς(x))
其中， ς(x) = ln(1+e^x)，是一个softmax激活函数和。
这与另一个被称为Swish函数的激活函数非常相似，可以定义为：
1399
955
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
