由Lambert定律
Iv出射光强度,I0入射光强度,dl薄层厚度。强度为Iv的入射光,透过薄层样品后,光强的减弱(-dl)与Iv及薄层的厚度dl成正比。*
由此构造一个迭代次数的表达式
其中n为迭代次数,表明初始迭代次数n,经过厚度为dl的神经网络后,迭代次数的变化(-dn)与n及网络的等效厚度dl成正比。
积分
在《以5‰的概率计算一个网络准确率达到99.9%的时间和迭代次数---实例三分类mnist 3,4,5》中得到一个估算神经网络迭代次数的经验公式
其中δ是网络的收敛标准,n0是收敛迭代次数,nv是初始迭代次数,取决与系统属性,k是常数。这个表达式很容易的化简成
比较1式和2式,可以得出只要将-lnδ理解成是薄层厚度,迭代次数就可以理解成是光线强度,则神经网络收敛过程就是对光线透过厚度为-lnδ的薄层的模拟。
比如上文中的网络,用一个3*3的卷积核分类mnist的3,4,5
这个网络的迭代次数的经验公式
其中nv=3879.73943,k=0.31488
化简
出射光强度nv和厚度-lnδ已知,计算入射光强度n0
得到数据
δ | n0实测 | n0计算值 | 实测值/计算值 | -lnδ |
0.1 | 9887.53 | 8010.92693 | 1.234255422 | 2.302587 |
0.01 | 16477.395 | 16541.04649 | 0.996151907 | 4.605173 |
0.001 | 33735.23 | 34154.1274 | 0.987735087 | 6.90776 |
9.00E-04 | 33855.875 | 35306.22807 | 0.958920758 | 7.013121 |
8.00E-04 | 37486.515 | 36640.23407 | 1.023097039 | 7.130904 |
7.00E-04 | 37743.51 | 38213.67063 | 0.987696533 | 7.264435 |
6.00E-04 | 38853.775 | 40114.27757 | 0.968577209 | 7.418586 |
5.00E-04 | 42011.69 | 42484.60481 | 0.98886856 | 7.600908 |
4.00E-04 | 46537.22 | 45577.0937 | 1.021065983 | 7.824051 |
3.00E-04 | 50546.635 | 49898.48548 | 1.012989363 | 8.111734 |
2.00E-04 | 59306.3 | 56693.72817 | 1.046082202 | 8.517199 |
1.00E-04 | 72432.405 | 70521.80278 | 1.027092362 | 9.210347 |
9.00E-05 | 74827.21 | 72900.67242 | 1.026426884 | 9.315707 |
8.00E-05 | 76215 | 75655.14209 | 1.00740013 | 9.43349 |
7.00E-05 | 82560.155 | 78903.99049 | 1.046336877 | 9.567022 |
6.00E-05 | 81525.21 | 82828.38378 | 0.98426658 | 9.721173 |
5.00E-05 | 85679.71 | 87722.66048 | 0.976711257 | 9.903494 |
4.00E-05 | 94710.29 | 94108.06419 | 1.006399301 | 10.12664 |
3.00E-05 | 102116.6 | 103030.9195 | 0.991125775 | 10.41432 |
2.00E-05 | 111092.705 | 117061.8084 | 0.94900896 | 10.81979 |
1.00E-05 | 145284.115 | 145614.1628 | 0.997733409 | 11.51293 |
1.00E-06 | 290645.97 | 300665.6605 | 0.966674976 | 13.81552 |
1.00E-07 | 572369.51 | 620817.6296 | 0.921960786 | 16.11811 |
要使出射光强度nv在3879.73943保持不变,薄层的厚度-lnδ越大,与之对应的入射光强度n0需要越强。
*量子化学(徐光宪,上中下三册)p-344