花书阅读笔记：卷积神经网络

Convolution Notes

万能近似定理

万能近似定理（universal approximation theorem）(Hornik et al., 1989; Cybenko, 1989) 表明，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种 ‘‘挤压’’ 性质的激活函数（例如logistic sigmoid激活函数）的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的 Borel 可测函数

动机

卷积运算通过三个重要的思想来帮助改进机器学习系统：稀疏交互（sparseinteractions）、参数共享（parameter sharing）、等变表示（equivariant representa-tions）。

卷积函数变体

基本卷积函数

Z i , j , k = c ( K , V , s ) i , j , k = ∑ l , m , n [ V l , ( j − 1 ) × s + m , ( k