GELU

最新推荐文章于 2024-08-14 00:15:00 发布

AI算法网奇

最新推荐文章于 2024-08-14 00:15:00 发布

阅读量4.6k

点赞数 1

分类专栏： python宝典深度学习宝典

本文链接：https://blog.csdn.net/jacke121/article/details/103767214

版权

python宝典同时被 2 个专栏收录

1011 篇文章 368 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

深度学习宝典

984 篇文章 713 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

GELU是一种计算量较大的激活函数，对于检测任务的收敛速度比ReLU6快，但最高精度稍逊。其梯度在第一层卷积层达到最大。在实际应用中，可以参考链接中的代码实现。

摘要由CSDN通过智能技术生成

GELU

这个函数特别占内存,计算量很大，对检测有帮助,收敛比relu6快

但是最高精度没有relu6高

梯度最大在第一层卷积层

类：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import torch
import math
from torch import nn
from torch.nn import functional as F

class mish(nn.Module):
    def __init__(self):
        super(mish, self).__init__()
    # Also see https://arxiv.org/abs/1606.08415
    def forward(self, x):
        return x * torch.tanh(F.softplus(x))


class Gelu(nn.Module):
    def __init__(self):
        super(Gelu, self).__init__()
    # Also see https://arxiv.org/abs/1606.08415
    def forward(self, x):
        return x * 0.5 * (1.0 + torch.erf(x / math.sqrt(2.0)))


class Gelu_new(nn.Module):
    def __init__(self):