PyTorch-1.10(八)--torch.nn激活层、归一化层和循环神经层-CSDN博客

本文链接：https://blog.csdn.net/weixin_43145427/article/details/124728731

非线性激活层Non-linear Activations

nn.ELU	按元素应用函数ELU
nn.Hardshrink	按元素应用函数Hardshrnk
nn.Hardsigmoid	按元素应用函数Hardsigmoid
nn.Hardtanh	按元素应用函数Hardtanh
nn.Hardswish	按元素应用函数Hardswish
nn.LeakyReLU	按元素应用函数LeakyReLU
nn.LogSigmoid	按元素应用函数LogSigmoid
nn.MultiheadAttention	按元素应用函数MultiheadAttention
nn.PReLU	按元素应用函数PReLU
nn.ReLU	按元素应用函数ReLU
nn.ReLU6	按元素应用函数ReLU6
nn.RReLU	按元素应用函数RReLU
nn.SELU	按元素应用函数SELU
nn.CELU	按元素应用函数CELU
nn.GELU	按元素应用高斯误差线性单位函数GELU
nn.Sigmoid	按元素应用函数Sigmoid
nn.SiLU	按元素应用Sigmoid线性单位（SiLU）函数SiLU
nn.Mish	按元素应用函数Mish
nn.Softplus	按元素应用函数Softplus
nn.Softshrink	按元素应用函数Softshrink
nn.Softsign	按元素应用函数softsign
nn.Tanh	按元素应用函数Tanh
nn.Tanhshrink	按元素应用函数Tanshrink
nn.Threshold	按元素应用函数Threshold
nn.GLU	按元素应用函数GLU

非线性激活层Non-linear Activations (other)

nn.Softmin	将Softmin函数应用于n维输入张量，对其进行重新缩放，使n维输出张量的元素位于[0,1]范围内，且总和为1。
nn.Softmax	将Softmax函数应用于n维输入张量，对其进行重新缩放，使n维输出张量的元素位于[0,1]范围内，且总和为1。
nn.Softmax2d	将SoftMax覆盖要素应用于每个空间位置。
nn.LogSoftmax	对softmax函数再取对数
nn.AdaptiveLogSoftmaxWithLoss	如下文中所述的有效softmax近似值Efficient softmax approximation for GPUs by Edouard Grave, Armand Joulin, Moustapha Cissé, David Grangier, and Hervé Jégou.

归一化层Normalization Layers

nn.BatchNorm1d	如下文所述，对2D或3D输入（具有可选通道维度的1D输入的小批量）应用批次归一化Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift .
nn.BatchNorm2d	如下文所述，对4D输入（具有额外可选通道维度的2D输入的小批量）应用批次归一化Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift .
nn.BatchNorm3d	如下文所述，对5D输入（具有附加通道维度的3D输入的小批量）应用批次归一化Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
nn.LazyBatchNorm1d	一个 torch.nn.BatchNorm1d 模块具有从输入input.size(1)推断的BatchNorm1d的num_features参数的延迟初始化。
nn.LazyBatchNorm2d	一个 torch.nn.BatchNorm2d 模块具有从输入input.size(1)推断的BatchNorm2d的num_features参数的延迟初始化。
nn.LazyBatchNorm3d	一个 torch.nn.BatchNorm3d 模块具有从输入input.size(1)推断的BatchNorm3d的num_features参数的延迟初始化。
nn.GroupNorm	对小批量输入应用组规范化，见如下论文 Group Normalization
nn.SyncBatchNorm	对N维输入（具有额外通道维度的[N-2]D输入的小批量）应用批次规范化，见论文Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
nn.InstanceNorm1d	对3D输入（带有可选附加通道维度的一小批1D输入）应用实例规范化，见论文Instance Normalization: The Missing Ingredient for Fast Stylization.
nn.InstanceNorm2d	对4D输入（带有可选附加通道维度的一小批2D输入）应用实例规范化，见论文Instance Normalization: The Missing Ingredient for Fast Stylization.
nn.InstanceNorm3d	对5D输入（带有可选附加通道维度的一小批3D输入）应用实例规范化，见论文Instance Normalization: The Missing Ingredient for Fast Stylization.
nn.LazyInstanceNorm1d	torch.nn.InstanceNorm1d模块具有从输入input.size(1)推断的InstanceNorm1d的num_features参数延迟初始化功能。
nn.LazyInstanceNorm2d	torch.nn.InstanceNorm2d 模块具有从输入input.size(1)推断的InstanceNorm2d的num_features参数延迟初始化功能。
nn.LazyInstanceNorm3d	torch.nn.InstanceNorm3d 模块具有从输入input.size(1)推断的InstanceNorm3d的num_features参数延迟初始化功能。
nn.LayerNorm	对小批量输入应用层规范化，如如下论文中Layer Normalization
nn.LocalResponseNorm	对由多个输入平面组成的输入信号进行局部规范化，其中通道位于第二维度。

循环神经Recurrent Layers

nn.RNNBase
nn.RNN	将具有tanh或ReLU非线性激活层的多层Elman RNN应用于输入序列。
nn.LSTM	将多层长短时记忆（LSTM）RNN应用于输入序列。
nn.GRU	将多层门控循环单元（GRU）RNN应用于输入序列。
nn.RNNCell	具有tanh或ReLU非线性层的Elman RNN单元。
nn.LSTMCell	长短时记忆（LSTM）单元。
nn.GRUCell	门控循环单元（GRU）。