备课脑补：mish激活函数

今天备课poloV4，网络结构图里面看到mish激活函数，发现记不太清了，赶紧脑补。。。

Yolov4的结构图：

脑补中…

常见的激活函数

mish激活函数

# coding=utf-8
# @Author : JiMi_Wang

import torch
import torch.nn as nn
import torch.nn.functional as F
from matplotlib import pyplot as plt


class Mish(nn.Module):
    def __init__(self):
        super().__init__()
        print("Mish activation loaded...")

    def forward(self, x):
        x = x * (torch.tanh(F.softplus(x)))
        return x


mish = Mish()
x = torch.linspace(-10, 10, 1000)
y = mish(x)

plt.plot(x, y)
plt.grid()
plt.show()

示例：

参考资料链接：https://zhuanlan.zhihu.com/p/84418420