机器学习 - 如何理解激活函数和增益值的关系

增益值(系数)和激活函数的关系

在学习Pytorch的激活函数过程中，提到了增益值的概念。

表中的gain，即增益值是指张量的数据输入到激活函数之后标准差的变化。
例如对于0均值，1标准差的数据而言，经过激活函数tanh之后，标准差会减少5/3倍左右，如果对与经过激活函数后的数据进行增益变换(一般来说是乘上增益系数)，可以使当前模块和激活函数连续作用后的输出张量元素分布服从一个比较合理的值。

那么，为什么要让张量的元素分布服从一个比较合理的值，又怎样才算合理呢？

说到这个就要讲一下梯度消失和爆炸的问题。层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，反之层数增多的时候，最终的求出的梯度更新将以指数形式减少，即发生梯度消失。其根本原因在于反向传播算法。

1. 梯度消失常常出现在深层网络或者采用了不恰当的激活函数，当权值更新的时候需要计算前层的偏导信息，如果选择sigmoid等激活函数，就会容易产生梯度消失的问题，这也是ReLU及其衍生激活函数受欢迎的原因，也可以从图一看到，ReLU的增益系数为1，因此在深深层网络中不会出现梯度消失和爆炸问题。

2. 梯度爆炸常常适用于权值初始化过大的原因。

计算增益值

在pytorch中可以使用nn.init.calculate_gain(‘tanh’)来获得激活函数的增益系数。