激活函数（待完善）

ReLU

也就说，ReLU激活函数的输入小于0，那这个就直接置零，如果大于零，就相当于不变直接输出，那么就相当于是单纯的线性神经网络，网络中就没有非线性的部分了，这样的话神经网络就退化为单纯的一次线性变换了。那为什么还有那么多人使用ReLU？因为ReLU的输入不会是全部大于0，这样的话对于一个样本而言，激活的ReLu神经元是固定的，如果下一个样本和这个样本的特征输入变化很小，送给ReLu的输入符号相同，那么还真就是相当于单纯的线性变换。如果所有的样本都非常相似，激活的ReLU都相同，那么整个网络就是相当于一个单纯的线性变换，这也很合理，因为训练样本几乎一模一样，输出也应该几乎一模一样。而如果输入样本每个都有相对比较明显的个体差异，那么给ReLU的输入差别也比较明显，激活的神经元都不相同，那么自然就实现了非线性。
所以，ReLU实现非线性也是没有问题的。

激活函数输入为负值的时候，斜率alpha的值是可以学习到的可训练参数。

Maxout

关于Maxout的解释：
1.几个element放在一起选max是需要提前设置好的，是个超参数；
2.类似CNN里面的maxpooling，也是一种池化，只不过这里的池化是在一个image上做pooling，而Maxout是在layer上做pooling；（可以思考，池化也可以是平均值池化，那这里是不是也可以是平均值？）
3.ReLU是特殊的Maxout；
4.Maxout的输出是可以学习的，因为输出和权重有关，是和学习的权重有关的。

Maxout如何训练

Maxout训练时，特点：
1.对max的那个神经元，相当于线性输出，那么直接反向传播就可以，对于非max的神经元，直接当成没有。这个和maxpooling的训练过程相同；
2.因为不同的样本激活不同的神经元，训练不同的参数，所以当训练样本足够大的时候，每个神经元的参数都会被训练到。

sigmoid

tanh

参考链接来源

李宏毅神经网络

李宏毅老师相关知识点的PPT