Mish激活函数，ReLU的继任者

参考链接：https://blog.csdn.net/u011984148/article/details/101444274

对激活函数的研究一直没有停止过，ReLU还是统治着深度学习的激活函数，不过，这种情况有可能会被Mish改变。

retinaface中，mish比leakyrelu快

但是核心网络relu 换mish后，内存占用大一倍。

epoch为 8时 map对比：

map:前者 0.78 后者 0.6

 

1，常用的激活函数

 

2，Mish激活函数

# -*- coding: utf-8 -*-
import torch
import torch.nn as nn
import torch.nn.functional as F
from matplotlib import pyplot as plt

class Mish(nn.Module):
    def __init__(self):
        s