迭代次数和熵之间关系的一个验证试验

( A , B)---81*30*2---(1,0)(0,1)

用神经网络分类A和B，让A是mnist的0，让B是mnist的1-9.用间隔取点的办法把图片缩小成9*9.但让B中非0值的数量分别等于14，14*0.9，14*0.8，…，14*0.2个. 并将所有非0值变成1.与前面实验数据比较二值化对迭代次数的影响。

得到实验数据

	1		2		3		4		5
	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数
	二值化	正常	二值化	正常	二值化	正常	二值化	正常	二值化	正常
14	6309.538	8028.492	7593.618	7170.111	8303.518	4563.92	11198.27	6931.015	10258.35	3712.191
14*0.9	8235.688	10512.76	7083.558	7085.307	8344	3957.085	10900.14	5011.256	10004.79	4287.045
14*0.8	10822.66	12175.1	8527.307	8909.668	9144.945	5329.327	12193.12	5052.623	18225.24	3973.759
14*0.7	11132.49	14806.39	10588.36	9178.673	12194.42	3901.99	12874.62	4177.176	16052.84	3760.663
14*0.6	16670.89	18403.16	13511.03	12387.02	19269.12	4450.814	16583.43	4873.387	22452.03	3520
14*0.5	18838.25	18569.19	15671.86	16936.02	31967.7	5504	21907.32	4610	31802.59	7360.563
14*0.4	28745.89	32946.66	25975.92	21557.49	35678.28	8226.271	32413.65	6770	50814.83	8412
14*0.3	49456.88	77674.51	35543.14	32116.68	65702.13	10478.2	78774.95	8889.276	83772.57	10278.59
14*0.2	96061.47	104475.7	67555.34	59634.69	126102.6	15644.66	146888.1	15570.22	109398.6	18435.36
	6		7		8		9
	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数	迭代次数
	二值化	正常	二值化	正常	二值化	正常	二值化	正常
14	10871.9	5297.548	12749.89	7865.568	14637.45	4449.216	10570.74	7524.784
14*0.9	14806.03	4568.633	10504.46	5539.92	15307.52	3349.618	11783.41	5888.221
14*0.8	15222.84	3833.618	10310.31	4698.231	16718	3198.503	17794.56	4814.271
14*0.7	20703.42	3874.573	10117.7	5672.623	18981.44	3730	16757.24	5220.161
14*0.6	30274.27	4857.91	10674.23	4257.085	25441.39	4653.035	21874.54	4988.834
14*0.5	38780.17	5293.357	15816.5	5994.452	37159.89	5058.241	30613.85	7303.035
14*0.4	44346.16	6036	23108.11	8845.538	42765.22	6021.759	58870.69	7886.734
14*0.3	83847.74	9077.477	49979.41	15703.26	76483.45	9730.201	90765.41	10279.68
14*0.2	154253.7	16665.61	90731.36	28967.59	121397.9	15053.71	149371	17749.77

比如第1组的数据

14*0.6

16670.89

18403.16

表明在收敛误差1e-5的条件下，用间隔取点的办法把0和1都缩小为9*9，形态1随机保留约8.4个有效值，收敛199次的平均值是16670.89.而如果把这8.4个随机非0值二值化，平均迭代次数是18403.16.因为两次统计非0值的数量和分布是一致的，因此迭代次数的差异就仅仅取决于数值的差异。

将数据画成图

所有的9组数据中1，2的形态很一致，这两组迭代次数的差别不大。

但剩余的7组数据，二值化的迭代次数都大于非二值化的迭代次数，差异非常明显。

二值化后数据与数据之间区分度降低，携带的信息减少，因此二值化减少了图片与图片之间的熵。二值化的迭代次数要大于非二值化的迭代次数，因此蓝线大于红线。迭代次数与熵成反比的假设可以很好的解释这7组数据。

0	1	2	3	4	5	6	7	8	9
44.4698	27.7134	41.7294	17.9278	15.9034	16.9892	17.8176	14.0056	19.4652	15.9438

形态1的非0值有27个，形态2有41个，而3-9只有约16个左右。形态1和形态2的有效值要多些，或许是收敛误差过大未能体现出来二值化的影响。

/***/今日地基

 厄米特流形

一个度规是否为凯勒,和在空间上移动时,度规如何变化有关。凯勒流形是一组叫做“厄米特流形”( Hermitian manifold)的复流形的子类。在厄米特流形上,你可以把复数坐标的原点放在任何一点上,它在该点上的度规看起来像是标准的欧氏几何度规。但当你离开该点时,它的度规就愈来愈不像欧氏的。更明确地说,当移动到与原点的距离为ε时,度规系数本身的改变差异大致是ε倍。我们将这样的流形称为“一阶欧氏空间”。
所以如果ε是0.001英寸(1英寸=2.54厘米),当我们离开ε距离时,厄米特度规的系数与原先的差距会维持在约0.001英寸的误差内。至于凯勒流形则是“二阶欧氏空间”,这表示它的度规会更加稳定;当与原点的距离为E时,凯勒流形的度规系数的改变大致是ε^2倍。
    
所有厄米特流形都有这种对称性:J变换把向量旋转90度,但维持其长度不变。凯勒流形既然是一种厄米特流形,当然也具备这种对称性。除此之外,凯勒流形还具有一种“内在对称性( internal symmetry),这是一种当你在空间中的两点移动时,仍需保持不变的微妙对称性,否则它就不是凯勒流形。