深度学习——激活函数汇总 一、ReLU二、GELU 一、ReLU 用于了ViT中的线性层后面。 参考资料: https://zhuanlan.zhihu.com/p/428448728 二、GELU 参考资料: GELU【PyTorch】教程:torch.nn.GELU