nn.Linear(in_feature,out_feature,bias)(线性变换)
Bias为布尔类型, Linear线性变换中是否添加bias偏置
in_feature:int型, 输入Tensor最后一维的通道数
out_feature:int型, 输出Tensor最后一维的通道数
nn.BatchNorm1d
使用 nn.BatchNorm1d 层时,它会对每个特征维度上的数据进行标准化处理。具体而言,它会计算每个特征维度的均值和方差,并将输入数据进行中心化和缩放,以使其分布接近均值为0、方差为1的标准正态分布。
数学方程如图
其中,eps默认为1e-5,是为了防止当标准差太小时,计算机将分母处理为0
nn.ReLU(激活函数)
数学公式如图
激活函数是用来加入非线性因素的,提高神经网络对模型的表达能力,解决线性模型所不能解决的问题