(0, 2)---(n*n)*30*2---(1,0)(0,1)
做一个网络来分类mnist的0和2,用间隔取点的办法把图片边长n化成n=5,7,9,…,27。共12个不同的值,让网络的收敛误差δ=1e-4,每个收敛误差收敛199次,统计平均值。
得到表格
0*2 | |||||||||||||
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 | 耗时 min/199 | 最大准确率p-max | 迭代次数标准差 | pave标准差 | |
2 | |||||||||||||
3 | |||||||||||||
5 | 8.03E-05 | 0.99992 | 29505.44 | 0.951445 | 0.94477 | 0.957783 | 1.00E-04 | 400.4221 | 79705 | 1.328417 | 0.961233 | 5156.462 | 0.00561 |
7 | 0.934607 | 0.065393 | 6523.769 | 0.950166 | 0.996006 | 0.906636 | 1.00E-04 | 144.0754 | 28679 | 0.477983 | 0.972167 | 380.1868 | 0.00614 |
9 | 8.94E-05 | 0.999911 | 3263.658 | 0.981683 | 0.98452 | 0.978989 | 1.00E-04 | 129.5879 | 25893 | 0.43155 | 0.984095 | 393.9651 | 9.10E-04 |
11 | 0.105594 | 0.894406 | 5257.714 | 0.986858 | 0.988776 | 0.985037 | 1.00E-04 | 243.9849 | 48558 | 0.8093 | 0.99006 | 846.2391 | 0.00568 |
13 | 8.00E-05 | 0.99992 | 2952.492 | 0.987272 | 0.98332 | 0.991026 | 1.00E-04 | 236.6935 | 47188 | 0.786467 | 0.991054 | 423.8031 | 0.001592 |
15 | 8.65E-05 | 0.999914 | 1817.678 | 0.966842 | 0.983909 | 0.950635 | 1.00E-04 | 222.8995 | 44366 | 0.739433 | 0.970179 | 217.1965 | 0.001125 |
17 | 0.738657 | 0.261343 | 10440.54 | 0.975152 | 0.997046 | 0.95436 | 1.00E-04 | 1100.558 | 219019 | 3.650317 | 0.987078 | 365.4243 | 0.006677 |
19 | 0.608019 | 0.391981 | 9987.251 | 0.985487 | 0.993416 | 0.977957 | 1.00E-04 | 1305.206 | 259744 | 4.329067 | 0.992048 | 684.8174 | 0.005245 |
21 | 0.613045 | 0.386955 | 9267.457 | 0.982474 | 0.993221 | 0.972269 | 1.00E-04 | 1443.271 | 287231 | 4.787183 | 0.993042 | 1298.923 | 0.012476 |
23 | 9.12E-05 | 0.999909 | 5998.372 | 0.985399 | 0.977987 | 0.992438 | 1.00E-04 | 1203.231 | 239445 | 3.99075 | 0.993042 | 837.7116 | 0.005969 |
25 | 8.94E-05 | 0.99991 | 5187.618 | 0.989285 | 0.986637 | 0.9918 | 1.00E-04 | 1291.015 | 256914 | 4.2819 | 0.993539 | 780.839 | 0.002911 |
27 | 8.95E-05 | 0.999911 | 5134.784 | 0.98931 | 0.986504 | 0.991975 | 1.00E-04 | 1413.518 | 281291 | 4.688183 | 0.993042 | 776.6672 | 0.002934 |
迭代次数随着图片尺寸的增加而整体下降,有一个峰
分类准确率随着尺寸的增加整体上升趋势,但有一个谷
图片的分类准确率并不是随着尺寸的缩小而一直下降,如13*13的分类准确率位列第三
27 | 25 | 13 | 11 | 19 | 23 | 21 | 9 | 17 | 15 | 5 | 7 |
0.98931 | 0.989285 | 0.987272 | 0.986858 | 0.985487 | 0.985399 | 0.982474 | 0.981683 | 0.975152 | 0.966842 | 0.951445 | 0.950166 |
13*13的分类准确率甚至比23*23的还要高,按照常理似乎大的图片包含了更多的细节理应相对小的图片有更高的分类准确率,但细节丰富并不见得更易于分类,应该是区别明显才更易于分类,比如有两张图
现在用间隔取点的办法把4*4的化成2*2的,可以得到
直观上这个2*2的要更容易被分类,因为左图的输入全是0,所以这个间隔取点的操作事实上让两张图的差异变得明显,所以这个实验表明两张图的局部细节可能与整体的差异不同。
所以如果将图片缩小可能获得更大的分类准确率,则可能将图片放大分类准确率却会下降。这个现象有有助于理解为什么卷积核过多分类准曲率却下降的现象,或许就是因为过多的细节反而掩盖了局部的差异。
这个实验也佐证了形态的变化是没有递进规律的假设,如果形态的变化是递进的则可以任意的压缩图片而不损失任何细节,或者可以将任意小的图片放大到任意大,若是如此那一个点对应的形态是什么那?