目录 0 基础 0.1 what激活? 0.2 why激活? 0.3 激活的特性? 1 sigmoid 1.1 概念 1.2 优点 1.3 缺点 1.4 sigmoid变体 1.4.1 Swish 1.4.2 logSigmoid 2 tanh(双曲正切) 2.1 概念 2.2 优点 2.3 缺点 2.4 tanh变体 2.4.1 tanhShrink 2.4.2 Mish(最新) 3 ReLU(修正线性单元) 3.1 概念 3.2 优点 3.3 缺点 3.4 RELU变体 3.4.1 LReLU/PReLU(参数修正线性单元) 3.4.2 RRELU(随机修正线性单元) 3.4.4 CReLU(串联修正线性单元) 3.4.5 ELU(指数线性单元) 3.4.6 SELU(尺度指数线性单元) 3.4.7 CELU 3.4.8 GELU(高斯误差线性单元) 3.4.9 RELU6 4 Maxout 4.1 概念 4.2 优点 4.3 缺点 5 softmax 6 softplus 参考 0 基础 0.1 what激活? 在NN的神经元上运行的函数,负责将神经元的输入映射到输出 0.2 why激活? 没有激活,每层的输出都是上层的线性组合,整个NN的输出就是输入的线性组合,无法逼近任意函数 0.3 激活的特性? (1)非线性