制作一个二分类的神经网络来分类mnist的1和2到1和9,网络结构是
(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)
将28*28的图片压缩到9*9,三层网络的节点数量分别是81*30*2,让1向(1,0)收敛让x向(0,1)收敛,让x分别等于2-9.网络的迭代停止的标准是:
|输出函数-目标函数|<δ
让δ=1e-6,重复收敛999次,统计平均值和分布,然后用得到的迭代次数的分布数据画图
网络性能的综合数据
f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | δ | 耗时ms/次 | 耗时ms/999次 | 最大值p-max | 主峰位置 | 主峰强度 | 峰数量 | |
1-2 | 0.999999 | 7.91E-07 | 28623.66 | 0.988459836 | 1.00E-06 | 550.6747 | 550142 | 0.993536 | 25547 | 80.10% | 8 |
1-3 | 0.004005 | 0.9959951 | 106917.1 | 0.993804439 | 1.00E-06 | 2078.573 | 2076495 | 0.998134 | 111024 | 28.10% | 38 |
1-4 | 0.999999 | 6.39E-07 | 22685.28 | 0.99255541 | 1.00E-06 | 247.5656 | 247350 | 0.994802 | 18067 | 51.70% | 4 |
1-5 | 0.826826 | 0.1731737 | 78103.31 | 0.993875909 | 1.00E-06 | 1479.884 | 1478416 | 0.996051 | 75699 | 13.40% | 56 |
1-6 | 0.999999 | 8.06E-07 | 20213.1 | 0.993139889 | 1.00E-06 | 345.5656 | 345240 | 0.994264 | 20187 | 68.20% | 9 |
1-7 | 0.999999 | 7.83E-07 | 24778.82 | 0.977754699 | 1.00E-06 | 464.7958 | 464363 | 0.987348 | 27857 | 49.50% | 9 |
1-8 | 0.010011 | 0.9899891 | 154130.7 | 0.991875707 | 1.00E-06 | 2846.962 | 2844120 | 0.996681 | 154366 | 19.80% | 53 |
1-9 | 0.997997 | 0.0020028 | 40372.43 | 0.9907244 | 1.00E-06 | 784.5295 | 783778 | 0.99347 | 35239 | 55.50% | 15 |
比如第一组数据用网络分类mnist的1和2,重复收敛了999次,平均迭代次数是28623次,平均准确率是98.8%,共耗时大约9分钟,准确率最大的一次是99.3%。
得到的迭代次数统计数据
1-2 | 25547 | 31479 | 32789 | 35543 | 40279 | 41475 | 42785 | 50275 | ||||||||||||||||||||||||||||||||||||||||||||||||||
801 | 1 | 5 | 7 | 82 | 34 | 66 | 3 | |||||||||||||||||||||||||||||||||||||||||||||||||||
1-3 | 84958 | 88690 | 91032 | 91680 | 91706 | 93548 | 94900 | 94954 | 97972 | 98686 | 100876 | 101028 | 101676 | 101702 | 102049 | 103544 | 104810 | 104896 | 104950 | 105120 | 107968 | 108226 | 108682 | 109751 | 110872 | 111024 | 111698 | 113540 | 114624 | 114892 | 114946 | 115116 | 117964 | 119747 | 120868 | 121020 | 124942 | 130864 | ||||||||||||||||||||
1 | 2 | 5 | 3 | 4 | 1 | 1 | 43 | 1 | 2 | 2 | 221 | 10 | 18 | 1 | 6 | 2 | 10 | 213 | 1 | 3 | 2 | 2 | 1 | 35 | 281 | 4 | 1 | 1 | 3 | 54 | 1 | 1 | 2 | 28 | 28 | 1 | 4 | |||||||||||||||||||||
1-4 | 18067 | 23467 | 25243 | 28063 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
517 | 23 | 35 | 424 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||
1-5 | 48178 | 48398 | 57659 | 58394 | 65703 | 67655 | 68170 | 68304 | 68390 | 68748 | 69045 | 70499 | 70519 | 70813 | 72409 | 73431 | 75699 | 77651 | 78166 | 78274 | 78300 | 78386 | 78458 | 78744 | 79041 | 79121 | 79267 | 79587 | 80495 | 80515 | 80809 | 82405 | 83427 | 85302 | 85695 | 87647 | 88162 | 88270 | 88296 | 88382 | 88454 | 88740 | 89263 | 89583 | 90491 | 90805 | 92401 | 93423 | 95691 | 97643 | 98266 | 98292 | 98450 | 98736 | 103419 | 113415 | ||
1 | 2 | 3 | 10 | 106 | 66 | 10 | 10 | 14 | 1 | 1 | 1 | 1 | 94 | 1 | 1 | 134 | 51 | 20 | 1 | 25 | 10 | 1 | 2 | 1 | 1 | 4 | 11 | 15 | 1 | 111 | 11 | 57 | 1 | 20 | 19 | 14 | 4 | 21 | 8 | 2 | 2 | 1 | 7 | 7 | 6 | 6 | 69 | 1 | 4 | 3 | 8 | 1 | 2 | 13 | 2 | |||
1-6 | 19407 | 19731 | 20187 | 20777 | 20803 | 27211 | 29403 | 29727 | 30183 | |||||||||||||||||||||||||||||||||||||||||||||||||
135 | 59 | 682 | 86 | 26 | 5 | 4 | 1 | 1 | ||||||||||||||||||||||||||||||||||||||||||||||||||
1-7 | 17861 | 24259 | 25511 | 27857 | 34255 | 34827 | 43731 | 44251 | 44823 | |||||||||||||||||||||||||||||||||||||||||||||||||
312 | 121 | 9 | 495 | 46 | 6 | 1 | 8 | 1 | ||||||||||||||||||||||||||||||||||||||||||||||||||
1-8 | 124378 | 126998 | 132682 | 132714 | 134374 | 136994 | 141292 | 141394 | 142286 | 142678 | 142710 | 144370 | 144686 | 146528 | 146990 | 148986 | 151288 | 151390 | 152282 | 152674 | 152706 | 154366 | 154682 | 156524 | 156986 | 158893 | 161090 | 161284 | 161386 | 162278 | 162670 | 162702 | 164362 | 166520 | 166982 | 167645 | 168889 | 171280 | 171382 | 172274 | 172666 | 172698 | 174358 | 176978 | 178885 | 180244 | 181276 | 181378 | 184354 | 186974 | 191374 | 194350 | 196970 | |||||
4 | 4 | 2 | 5 | 47 | 27 | 4 | 1 | 1 | 4 | 11 | 176 | 1 | 1 | 75 | 1 | 7 | 7 | 2 | 26 | 27 | 198 | 1 | 2 | 83 | 6 | 1 | 7 | 11 | 1 | 12 | 14 | 87 | 2 | 41 | 1 | 1 | 4 | 9 | 3 | 1 | 1 | 38 | 18 | 2 | 1 | 2 | 2 | 7 | 5 | 2 | 1 | 2 | ||||||
1-9 | 25243 | 35239 | 45235 | 55231 | 65227 | 75223 | 85219 | 107303 | 115095 | 117299 | 119793 | 122751 | 129301 | 136446 | 156438 | |||||||||||||||||||||||||||||||||||||||||||
68 | 555 | 266 | 77 | 18 | 4 | 2 | 1 | 1 | 1 | 1 | 2 | 1 | 1 | 1 |
比如第一组1-2,虽然平均值是28623但是只有8个离散的迭代次数,其中25547占比达到80.1%。
将1-2画成图
只有一个主峰非常明显,这也是1-2至1-9共8个谱中信号强度最强的一个主峰。虽然主峰如此明显但是1-2并不是分类准确率最高的。按照准确率排名1-2仅好于1-7
1-5>1-3>1-6>1-4>1-8>1-9>1-2>1-7
平均准确率p-ave | 最大值p-max | 主峰位置 | 主峰强度 | 峰数量 | |
1-7 | 0.977755 | 0.987348 | 27857 | 49.50% | 9 |
1-2 | 0.98846 | 0.993536 | 25547 | 80.10% | 8 |
1-9 | 0.990724 | 0.99347 | 35239 | 55.50% | 15 |
1-8 | 0.991876 | 0.996681 | 154366 | 19.80% | 53 |
1-4 | 0.992555 | 0.994802 | 18067 | 51.70% | 4 |
1-6 | 0.99314 | 0.994264 | 20187 | 68.20% | 9 |
1-3 | 0.993804 | 0.998134 | 111024 | 28.10% | 38 |
1-5 | 0.993876 | 0.996051 | 75699 | 13.40% | 56 |
直观上2和7的外形与1比较相近,因而分辨准确率较低,因为外形相近峰数量比较少,并进而导致峰的分布比较集中。3和5的外形与1的外形差异比较大,因而有比较多的比较位点,并进而产生了更多的峰,并导致主峰相对强度不是很高,但是分辨准确率很高。
但这种方法不能解释1-4,1-6和1-8,1-9,因为1-4,1-6的峰数量更少但是准确率却更高,或许可以假设除了峰数量和峰强度外还有一个表示峰价值的参数存在,三个参数共同作用决定分类准确率。
1-3的谱
有3个明显的主峰分别是101028,104950,111024强度分别是22.1%,21.3%,28.1%,
这张图里有非常明显的一个等距的关系
101028-94954=111024-104950=121020-114946=6074
1-4的谱
这张谱只有4个峰值,18067占比51.7%,28063占比42.4%。
这个测试的网络的进样顺序是一样的,也就是999次的实验除了每次的权重不同以外没有其他的差别,但是只有明显的4个峰值,这个现象表明如果把权重看作一个随机数列,这个随机数列对网络
(mnist 0 ,mnist 4)81-30-2-(1,0) || (0,1)
只有4种可能。也就是可以把神经网络的迭代次数的分布理解成是对随机数列的分类。
1-5的谱
1-5的三个主峰分别是65703,75699,80809,强度分别是10.6%,13.4%,11.1%。这三个主峰分别有三个伴峰67655,77651,83427,这三个伴峰大约都在主峰1.03%的位置。
70813-65703,80809-75699这4个峰是等间距分布的,间距5110.
1-6的谱
1-6有一个非常明显的主峰20187,占比68.2%。8张图里峰值强度排名第二的峰,特征非常明显。
1-7的谱
1-7前3个主峰17861,24259,27857占比31.2%,12.1%,49.5%。
这张图里也有一个等距的关系24259-17861=34255-27857=6398
1-8的谱
1-8的谱中强度大于10%的只有两个峰144370,154366强度分别是17.6%,19.8%。
这张图的等距关系更为明显
主峰 | 伴峰 | |
144370-134374 | 146990-136994 | |
154366-144370 | 156986-146990 | |
164362-154366 | 166982-156986 | |
174358-164362 | 176978-166982 | |
9996 | 9996 |
5个主峰和5个伴峰他们之间都是等间距分布。
1-9的谱
1-9中强度大于10%的峰值有两个35239,45235强度分布是55.5%,26.6%,
这张图的等距关系更为明显35239-25243=45235-35239=55231-45235=65227-55231=75223-65227=85219-75223=9996
这8张谱的峰值的位置和强度都特征明显,足以将对应的网络分开。