常用的激活函数 1. Sigmoid() 用于将预测概率作为输出的模型 2. Tanh() 当输入较大或者较小,输出几乎是平滑且梯度较小,不利于权重更新 3.ReLU() 输入为正时,不存在梯度饱和问题,计算速度快 4.LeakyReLU() 调整负值零梯度的问题 5.Softmax() 用于多分类问题