—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。
我们知道深度学习的理论基础是神经网络，在单层神经网络中（感知机），输入和输出计算关系如下图所示：
可见，输入与输出是一个线性关系，对于增加了多个神经元之后，计算公式也是类似，如下图：
这样的模型就只能处理一些简单的线性数据，而对于非线性数据则很难有效地处理（也可通过组合多个不同线性表示，但这样更加复杂和不灵活），如下图所示：
本文介绍了深度学习中激励函数的重要性，通过引入非线性，神经网络能更好地处理非线性数据。常见的激励函数包括sigmoid、tanh、ReLU、Leaky ReLU和ELU，它们各有优缺点。ReLU因其简单高效在深度学习中广泛使用，但可能面临神经元死亡问题。ELU和Leaky ReLU则尝试解决这一问题。Maxout函数作为ReLU的泛化，兼顾效果和计算量。
最低0.47元/天 解锁文章
扫一扫
25万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
