本文做了一个二分类网络
(mnist 0,2)-con(5*5)*n-30*2-(1,0)(0,1)
用一个三层多核的网络分类mnist0和2,卷积核的数量从1到23,每个收敛标准(也就是输出值与目标值的余项或误差),收敛199次,记录平均值和迭代次数和耗时。
在文<二分类卷积核极限数量实验>中做了一个网络
(mnist 0,2)-con(3*3)*n-30*2-(1,0)(0,1)
这个网络用3*3的卷积核分类mnist的0和2用了1到12个卷积核,把本文的数据与3*3卷积核的实验做对比,进一步的比较两个卷积核的性能差异。
首先观察平均准确率pave
81*30*2 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | |
δ | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave | 平均准确率p-ave |
1.00E-04 | 0.980864 | 0.977914 | 0.981411 | 0.982672 | 0.983733 | 0.984016 | 0.985766 | 0.985644 | 0.985357 | 0.985769 | 0.985844 | 0.986019 | 0.985654 | 0.985976 | 0.985874 | 0.986416 | 0.986331 | 0.985991 | 0.986016 | 0.985989 | 0.985914 | 0.986233 | 0.986044 | 0.985919 |
9.00E-05 | 0.980534 | 0.977986 | 0.981391 | 0.983211 | 0.98502 | 0.98446 | 0.985549 | 0.985619 | 0.985951 | 0.986298 | 0.986208 | 0.986183 | 0.986351 | 0.986218 | 0.986358 | 0.98676 | 0.986378 | 0.986373 | 0.986358 | 0.986373 | 0.985636 | 0.986273 | 0.986016 | 0.985384 |
8.00E-05 | 0.980569 | 0.978501 | 0.982777 | 0.983801 | 0.984657 | 0.985644 | 0.985939 | 0.986408 | 0.985941 | 0.986536 | 0.986576 | 0.986528 | 0.986593 | 0.986653 | 0.986583 | 0.986593 | 0.986655 | 0.98662 | 0.986348 | 0.986653 | 0.986358 | 0.985941 | 0.985424 | 0.985601 |
7.00E-05 | 0.980594 | 0.979298 | 0.982652 | 0.984785 | 0.985656 | 0.985859 | 0.986096 | 0.986353 | 0.986481 | 0.986665 | 0.986603 | 0.98703 | 0.987053 | 0.986973 | 0.98678 | 0.987018 | 0.986933 | 0.987205 | 0.986228 | 0.986186 | 0.986331 | 0.985996 | 0.98667 | 0.986161 |
6.00E-05 | 0.981171 | 0.978588 | 0.983376 | 0.985159 | 0.986268 | 0.986143 | 0.986323 | 0.986605 | 0.98689 | 0.98697 | 0.986988 | 0.987225 | 0.986988 | 0.987295 | 0.987132 | 0.987065 | 0.987322 | 0.987227 | 0.98672 | 0.987137 | 0.986988 | 0.986855 | 0.986241 | 0.986468 |
8.00E-05 | 3*3 | 0.973478 | 0.978289 | 0.981113 | 0.982794 | 0.982749 | 0.982295 | 0.982829 | 0.981788 | 0.981823 | 0.980736 | 0.980861 | 0.980584 | |||||||||||
7.00E-05 | 3*3 | 0.974827 | 0.980019 | 0.982342 | 0.983873 | 0.983618 | 0.983251 | 0.983276 | 0.98192 | 0.982577 | 0.981316 | 0.980357 | 0.980551 | |||||||||||
6.00E-05 | 3*3 | 0.975916 | 0.981326 | 0.983633 | 0.983651 | 0.983289 | 0.983506 | 0.982744 | 0.982694 | 0.981885 | 0.980983 | 0.981401 | 0.98214 |
数据显示网络性能随着卷积核的数量的增加先上升后下降,也就是5*5卷积核的数量是有最优值的。
这个最优值在n=16.
与同样收敛标准的3*3卷积核的pave数据比较
5*5卷积核的pave是全面的超过3*3卷积核的pave,3*3卷积核的数量最优值是n=4.上升区间要比5*5卷积核的要小的多。而且3*3卷积核当n=4的最优pave= 0.9838731而5*5卷积核当n=16的最优pave= 0.987322,5*5卷积核有约3.5‰的优势。
比较数据pave5*5/pave3*3
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | |
8.00E-05 | 1.005159 | 1.004588 | 1.002739 | 1.001896 | 1.002946 | 1.00371 | 1.003642 | 1.00423 | 1.0048 | 1.005954 | 1.005778 | 1.006128 |
7.00E-05 | 1.004586 | 1.002686 | 1.002487 | 1.001813 | 1.002278 | 1.002893 | 1.003129 | 1.004645 | 1.004161 | 1.005388 | 1.006807 | 1.00663 |
6.00E-05 | 1.002738 | 1.00209 | 1.001551 | 1.002661 | 1.002903 | 1.002865 | 1.003929 | 1.00427 | 1.005179 | 1.006121 | 1.005935 | 1.004936 |
sum(pave5*5)/sum(pave3*3)=1.004
这组数据表明在收敛标准相同的情况下5*5卷积核的性能全面的优于3*3卷积核,平均优势约为4‰
比较迭代次数
81*30*2 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | |
δ | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n | 迭代次数n |
1.00E-04 | 3209.98 | 6975.638 | 7363.025 | 7453.508 | 8030.121 | 8209.131 | 8630.955 | 8684.327 | 9112.995 | 9148.955 | 9656.925 | 9869.96 | 9889.809 | 10413.8 | 10727.65 | 11156.84 | 11031.92 | 11173.88 | 12029.69 | 12294.01 | 12389.15 | 12822.99 | 13324.31 | 13005.06 |
9.00E-05 | 3381.819 | 8103.452 | 7721.583 | 8017.533 | 8450.186 | 8984.714 | 9013.945 | 9386.688 | 9336.07 | 9987.206 | 10166.42 | 10282.16 | 10486.11 | 10940.55 | 11312.08 | 11630.43 | 11940.03 | 12206.22 | 12483.41 | 12746.71 | 13603.18 | 13341.53 | 13723.67 | 14164.79 |
8.00E-05 | 3565.95 | 8590.111 | 8054.503 | 8537.628 | 8830.101 | 9223.749 | 9429.794 | 10006.53 | 9910.286 | 10370.01 | 10705.7 | 10913.14 | 11624.41 | 11558.77 | 12314.22 | 12474.17 | 12794.68 | 13285.33 | 13392.81 | 13747.66 | 14239.21 | 14334.86 | 14627.82 | 15069.08 |
7.00E-05 | 3725.186 | 9393.518 | 8461.538 | 9181.452 | 9379.437 | 9337.613 | 10421.36 | 10354.9 | 11001.84 | 11252.77 | 11381.25 | 11728.87 | 12194.73 | 12512.37 | 12769.56 | 13044.42 | 13593.27 | 14041.14 | 14534.64 | 14710.97 | 15126.15 | 15183.9 | 15450.38 | 15632.75 |
6.00E-05 | 3902.291 | 10110.89 | 9198.528 | 9740.055 | 10056.36 | 10608.86 | 10682.66 | 11087.84 | 11739.25 | 12161.47 | 12721.34 | 12915.67 | 13252.76 | 13764.64 | 13771.96 | 14229.73 | 14580.07 | 15235.59 | 15556.83 | 15645.44 | 15919.39 | 16150.39 | 16255.92 | 16431.82 |
8.00E-05 | 3*3 | 8280.965 | 9263.935 | 11330.61 | 12633.43 | 13926.37 | 15185.44 | 16021.58 | 16417.08 | 16968.12 | 17287.1 | 17275.55 | 17629.21 | |||||||||||
7.00E-05 | 3*3 | 8864.809 | 10286.09 | 11740.79 | 13858.94 | 15354.01 | 16078.22 | 16613.04 | 17118.74 | 17903.97 | 18037.79 | 18508.5 | 18403.27 | |||||||||||
6.00E-05 | 3*3 | 9461.895 | 11461.08 | 12902.63 | 15540.71 | 17113.66 | 17103.62 | 17932.74 | 18677.93 | 18283.78 | 18910.44 | 19475.59 | 19564.79 |
随着卷积核数量的增加迭代次数几乎是线性的增加的,同收敛标准的前提下5*5卷积核的迭代次数是小于3*3卷积核的迭代次数。
比较耗时
81*30*2 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | |
δ | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 | 耗时 min/199 |
1.00E-04 | 0.257233 | 3.256583 | 6.683417 | 9.894767 | 14.03952 | 17.71815 | 21.40008 | 25.84643 | 30.76985 | 35.68508 | 42.56842 | 47.42133 | 50.40343 | 59.28032 | 65.94902 | 73.5505 | 77.7106 | 82.56972 | 94.41842 | 101.2041 | 108.0909 | 116.4581 | 128.3673 | 130.0171 |
9.00E-05 | 0.263017 | 4.2436 | 6.922833 | 10.62842 | 14.70467 | 19.34858 | 24.12698 | 28.96998 | 33.26892 | 40.79973 | 45.09903 | 49.50177 | 54.84795 | 62.08508 | 69.35002 | 76.81838 | 84.11837 | 89.8964 | 98.0324 | 103.803 | 117.5944 | 120.9146 | 134.1112 | 142.0814 |
8.00E-05 | 0.273367 | 4.2839 | 7.169533 | 11.26158 | 15.7018 | 19.8954 | 25.18335 | 31.1719 | 33.65657 | 40.31477 | 45.43632 | 52.4152 | 60.97798 | 65.53147 | 74.8665 | 80.60273 | 89.3287 | 97.78988 | 105.3292 | 113.2884 | 122.5579 | 130.0001 | 141.8273 | 151.9128 |
7.00E-05 | 0.280733 | 4.6339 | 7.503483 | 12.05885 | 16.59455 | 20.77917 | 26.49803 | 32.49158 | 38.69142 | 43.58605 | 51.27548 | 56.43805 | 62.65367 | 70.79592 | 77.52678 | 85.3631 | 95.72812 | 103.4634 | 113.9268 | 120.5905 | 129.7379 | 137.6541 | 147.6879 | 156.7152 |
6.00E-05 | 0.2923 | 2.444317 | 8.167717 | 12.85368 | 17.69805 | 23.46423 | 28.22688 | 32.48458 | 40.68138 | 47.6168 | 54.71102 | 60.64322 | 69.49622 | 78.80173 | 84.65203 | 93.76728 | 102.3604 | 110.6264 | 122.3967 | 128.5009 | 137.1837 | 145.3612 | 153.558 | 164.7346 |
8.00E-05 | 3*3 | 1.566383 | 3.306883 | 6.301367 | 7.607283 | 9.080433 | 16.30447 | 20.22028 | 21.98902 | 25.43633 | 30.08465 | 32.09258 | 37.09115 | |||||||||||
7.00E-05 | 3*3 | 1.677167 | 3.657083 | 6.378717 | 10.33212 | 14.28748 | 17.20495 | 19.26532 | 24.54062 | 28.65433 | 31.4023 | 35.70178 | 38.67048 | |||||||||||
6.00E-05 | 3*3 | 1.782067 | 4.075683 | 5.480233 | 11.6074 | 15.76265 | 17.98672 | 21.97478 | 26.9867 | 29.22455 | 33.38313 | 37.47727 | 41.15603 |
随着迭代次数的增加耗时也在增加,5*5卷积核当n=16时耗时102min/199次,而3*3卷积核当n=4时耗时11.6min/199次。也就是用8.79倍的时间换来性能提成3.5‰
而5*5卷积核达到3*3卷积核的pave最大值0.9838731只需要3个5*5卷积核就够了,耗时约12.85min/199次。
比较性能最大值pmax
81*30*2 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | |
δ | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max | 最大值p-max |
1.00E-04 | 0.984095 | 0.988072 | 0.989066 | 0.989066 | 0.991054 | 0.989066 | 0.99006 | 0.99006 | 0.99006 | 0.99006 | 0.990557 | 0.989563 | 0.989066 | 0.99006 | 0.990557 | 0.989563 | 0.991054 | 0.99006 | 0.989563 | 0.990557 | 0.99006 | 0.990557 | 0.99006 | 0.991054 |
9.00E-05 | 0.985089 | 0.987078 | 0.990557 | 0.991054 | 0.990557 | 0.99006 | 0.99006 | 0.99006 | 0.99006 | 0.990557 | 0.990557 | 0.989563 | 0.989563 | 0.991054 | 0.99006 | 0.99006 | 0.991054 | 0.991054 | 0.990557 | 0.99006 | 0.990557 | 0.99006 | 0.990557 | 0.991054 |
8.00E-05 | 0.985089 | 0.987078 | 0.989563 | 0.99006 | 0.990557 | 0.990557 | 0.99006 | 0.990557 | 0.990557 | 0.989563 | 0.99006 | 0.990557 | 0.99006 | 0.990557 | 0.990557 | 0.990557 | 0.99006 | 0.990557 | 0.99006 | 0.991054 | 0.992048 | 0.99006 | 0.991054 | 0.990557 |
7.00E-05 | 0.985089 | 0.987078 | 0.99006 | 0.99006 | 0.991054 | 0.99006 | 0.99006 | 0.991054 | 0.990557 | 0.991054 | 0.991551 | 0.990557 | 0.990557 | 0.991054 | 0.99006 | 0.990557 | 0.991054 | 0.990557 | 0.991054 | 0.991054 | 0.990557 | 0.991551 | 0.992048 | 0.991551 |
6.00E-05 | 0.985089 | 0.988569 | 0.99006 | 0.992048 | 0.992048 | 0.991551 | 0.990557 | 0.991551 | 0.990557 | 0.991551 | 0.990557 | 0.992048 | 0.991054 | 0.990557 | 0.991551 | 0.991551 | 0.991551 | 0.990557 | 0.991054 | 0.991054 | 0.992545 | 0.991054 | 0.991054 | 0.990557 |
8.00E-05 | 3*3 | 0.987078 | 0.989563 | 0.989563 | 0.99006 | 0.989563 | 0.99006 | 0.99006 | 0.989563 | 0.990557 | 0.990557 | 0.99006 | 0.990557 | |||||||||||
7.00E-05 | 3*3 | 0.986581 | 0.992048 | 0.992048 | 0.989563 | 0.990557 | 0.990557 | 0.991054 | 0.990557 | 0.991054 | 0.99006 | 0.990557 | 0.991054 | |||||||||||
6.00E-05 | 3*3 | 0.987575 | 0.990557 | 0.990557 | 0.990557 | 0.990557 | 0.990557 | 0.991054 | 0.991054 | 0.991054 | 0.990557 | 0.992545 | 0.992048 |
这组数据变化不明显,最大的准确率pmax相差不到2‰,这意味这即便是选择了一个错误的卷积核数量,也差不多有同样大的概率得到相差不多的最优值。
综上所述,本题针对9*9的图片,隐藏层节点30个的二分类网络,5*5的卷积核的性能全面超过3*3的卷积核。5*5卷积核的最优数量是16个,3*3卷积核的最优数量是4个,5*5卷积核的性能优势不小于3.5‰。