pytorch
文章平均质量分 96
深度学习探索者
有事做,有人爱,有所期待
展开
-
GAN及其衍生网络中生成器和判别器常见的十大激活函数(2024最新整理)
激活函数(activation function)的作用是对网络提取到的特征信息进行非线性映射,提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。Sigmoid 是一种常见的非线性激活函数,输入实数值并将其压缩到 (0,1) 范围内,适用于。其缺点是当输入值较大和较小时,梯度会接近于0从而问题,函数的输出也,指数也更加耗时。原创 2024-03-17 21:23:27 · 1242 阅读 · 0 评论 -
python 理解BN、LN、IN、GN归一化、分析torch.nn.LayerNorm()和torch.var()工作原理
最近在学习Vit(Vision Transformer)模型,在构建自注意力层(Attention)和前馈网络层(MLP)时,用到了torch.nn.LayerNorm(dim),也就是LN归一化,与常见卷积神经网络(CNN)所使用的BN归一化略有不同。原创 2023-04-15 15:17:41 · 3141 阅读 · 3 评论