激活函数Mish

最新推荐文章于 2024-08-12 08:34:42 发布

有点方

最新推荐文章于 2024-08-12 08:34:42 发布

阅读量1.5k

点赞数 2

分类专栏： pytorch 算法激活函数文章标签：神经网络深度学习计算机视觉

本文链接：https://blog.csdn.net/qq_35447659/article/details/107820076

版权

算法同时被 3 个专栏收录

33 篇文章 1 订阅

订阅专栏

pytorch

16 篇文章 0 订阅

订阅专栏

激活函数

1 篇文章 0 订阅

订阅专栏

y = x*tanh(ln(1+exp(x)))

实验中，随着层深的增加，ReLU激活函数精度迅速下降，而Mish激活函数在训练稳定性、平均准确率(1-2.8%)、峰值准确率(1.2% - 3.6%)等方面都有全面的提高。

从图中可以看出，Mish是一个平滑的曲线，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化；在负值的时候并不是完全截断，允许比较小的负梯度流入。

Code:

# -*- coding: utf-8 -*-
import torch
import torch.nn as nn
import torch.nn.functional as F
from matplotlib import pyplot as plt

class Mish(nn.Module):
    def __init__(self):
        super().__init__()
        print("Mish activation loaded...")
    def forward(self, x):
        x = x * (torch.tanh(F.softplus(x)))
        return x

mish = Mish()
x = torch.linspace(-10, 10, 1000)
y = mish(x)

plt.plot(x, y)
plt.grid()
plt.show()