14、前馈神经网络架构与凸性约束在金融建模中的应用

前馈神经网络架构与凸性约束在金融建模中的应用

1. 神经网络与样条函数的联系

在特定的权重和偏置配置下，当隐藏单元为每个观测值定义Voronoi单元时，神经网络可被视为单变量样条函数。这一结果可推广到更高维度和更高阶的样条函数。这意味着样条函数是神经网络的一种特殊情况，这与将神经网络视为广义逼近和回归技术的观点相一致。将神经网络表示为样条函数，使得逼近理论能够指导网络的设计。不过，将神经网络等同于样条函数，并不能很好地解释为何以及何时需要多层结构。

2. 为何需要深度网络

从统计和信息理论的角度来看，向深度神经网络的扩展是有充分依据的。

• 性能优势 ：深度网络相较于线性加法模型（如线性回归）能实现更优的性能，同时避免了维度灾难。
• 理论发展 ：有许多理论研究刻画了网络深度、宽度和稀疏性水平对逼近行为的影响。例如，Bartlett等人证明了具有分段线性激活函数（如ReLU）的深度前馈神经网络分类器的可表达性的上下界，且这些界在几乎整个参数范围内都很紧密。他们还给出了VC维度定理：存在一个通用常数C，对于任意的W和L（W > CL > C²），存在一个层数≤L且参数≤W的ReLU网络，其VC维度≥WLlog(W/L)/C。
• 深度对VC维度的影响 ：网络深度对VC维度的影响取决于激活函数的非线性程度。对于分段常数函数，无影响；对于分段线性函数，呈线性关系；对于一般的分段多项式函数，最多呈二次关系。
• 浅层网络的局限性 ：大