深度学习中的非线性函数

深度学习中的非线性函数

Norm 类

BatchNorm函数

层归一化，稳定训练并提升模型收敛性
对一个样本所有特征计算均值和方法，然后对样本进行归一化
$$\mu =\frac{1}{H}\sum _{i=1}^H{x}_i,\sigma =\sqrt{\frac{1}{H}\sum _{i=1}^H(x_i-\mu {)}^2}$$
$$\text{其中，}N(x)=\frac{x-\mu }{\sigma },h=g\odot N(x)+b$$
向量维度为H，g、b为可学习的两个参数

RMSNorm

Root Mean Square Layer Normalization proposed in this paper
$$\overline{x_i}=\frac{x_i}{RMS(x)}{g}_i,RMS(x)=\sqrt{\frac{1}{H}\sum _{i=1}^H{x}_i^2}$$

LLama 模型 引入的 RMSNorm

激活函数

GeLU函数

实际计算时一般将其进行计算，比如：
$$GELU(x)=0.5\times x\times \left(1+Tanh\left(\sqrt{\frac{2}{\pi }}\times (x+0.044715\times x^3)\right)\right)$$
或者近似为
$$GELU(x)=x\times \sigma (1.702\times x)=\frac{x\times e^{1.702x}}{1+e^{1.702x}}$$
$$\sigma (x)=\frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}$$

函数图像：

SiLU函数

$$silu(x)=x\ast \sigma (x)$$

其中，$\sigma (x)$ 为 Sigmoid函数

函数图像：