神经网络的迭代次数和收敛误差与谐振子的位移和时间

几乎任何随时间变化的周期函数或准周期函数F(t),都可以展成一些依赖于时间的谐和函数的无限级数---就是说, 它可以分解成许多谐振子之和。这级数(称为傅立叶级数)的每一项,可以用一个整数n来标示,n等于1、2、3,等等。每一项包括一个振幅An、一个角频率ωn,以及时间t。               

这些要素的每组,都可以利用数学符号e(自然对数的底)和i(-1的平方根)来结合成级数中的一项。该项可以写成

这就代表一个简谐振子                  

系在弹簧上的小球或摆动的摆,它以振幅A和频率w/(2π)]而振动。             

---David C. Cassidy_ 大卫·C.卡西第_ 戈革(译) - 海森伯传-商务印书馆 (2002)-P258

 

已有大量实验表明神经网络的收敛误差δ和迭代次数n之间有数学关系

比如用1个卷积核分类9*9的mnist3，4，5

可以得到数据

把幂函数化成指数函数

这相当于可以将这个网络看作一个谐振子，这个谐振子的位移是迭代次数，时间是-lnδ，而振幅是3879.73，频率是-i0.31/（2π）。

分类准确率表达的是测试集与分类集的相似程度，越相似分类准确率越接近100%，表明整个系统越稳定，能级越低。大量实验表明收敛误差越小分类准确率越接近100%。也就是时间越长能量越小。所以-lnδ与分类准确率之间符合时间和能量的测不准关系。这从侧面表明了把神经网络看作谐振子的合理性。