一种可能取代ReLU的激活函数-Mish(付tf代码实现)
1.Mish公式mish(x)=x∗tanh(softplus(x))=x∗tanh(ln(1+ex)) mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))\,mish(x)=x∗tanh(softplus(x))=x∗tanh(ln(1+ex))2.图像3.ReLU、Swish、Mish在MNIST数据集效果比较4....
原创
2020-04-28 00:19:13 ·
2533 阅读 ·
0 评论