TPAMI 2024 | 卷积神经网络中分段线性激活函数的线性区域数量研究（一）

On the Number of Linear Regions of Convolutional Neural Networks With Piecewise Linear Activations

题目：卷积神经网络中分段线性激活函数的线性区域数量研究

作者：Huan Xiong , Lei Huang, Wenston J.T. Zang , Xiantong Zhen , Guo-Sen Xie , Bin Gu , and Le Song

---

摘要

深度学习中的一个基本问题是理解深度神经网络（NNs）在实践中表现出色的原因。NNs优越性的一种解释是它们能够实现大量复杂的函数，即它们具有强大的表达能力。具有分段线性激活的神经网络（PLNN）的表达能力可以通过它将输入空间分割成线性区域的最大数量来量化。在本文中，我们提供了几个数学结果，这些结果对于研究具有分段线性激活的卷积神经网络（PLCNNs）的线性区域是必需的，并使用它们推导出单层PLCNNs的最大和平均线性区域数量。此外，我们得到了多层PLCNNs线性区域数量的上下界。我们的结果表明，更深的PLCNNs比浅层PLCNNs具有更强的表达能力，而PLCNNs在参数数量相同的情况下，比全连接的PLNNs在每个参数上的表达能力更强，就线性区域的数量而言。

关键词

• 卷积神经网络
• 表达能力
• 超平面排列
• 线性区域
• 分段线性