高斯定理在神经网络上的投影

电场强度对任意封闭曲面的通量只取决于该封闭曲面内电荷的代数和,与曲面内电荷的位置分布情况无关,与封闭曲面外的电荷亦无关。

---高斯定理

神经网络的分类过程就是用一套权重让形态A变换成形态B,再让形态B变换成形态A。也就是让组成A的粒子移动到(0,1)位,让组成B的粒子移动到(1,0)位。用电池做类比,A的粒子是由正极到负极,而B的粒子是由负极到正极,。所以A和B粒子的运动事实上形成了一个闭合的回路。而权重就是粒子运动的空间本身,按照高斯定律权重空间一定有一个仅仅和移位粒子数量有关的物理表象。

所以用此思路可以很自然的得到移位距离和假设

用神经网络分类A和B,把参与分类的A和B中的数字看作是组成A和B的粒子,分类的过程就是让A和B中的粒子互相交换位置,寻找最短移位路径的过程。而熵H与最短移位距离和成正比,迭代次数n和熵H成反比。

对二值化图片移位规则汇总

每个粒子移位一次,位置重合不移位,0不动,单次移位距离恒为1.

所以迭代次数可以理解为权重空间的通量,这个量仅与移位粒子数量有关。用实验去验证这个假设

用神经网络分类A和B让A有8个1,B有5个1,统计相同收敛误差下的迭代次数

851

852

853

854

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

25288.76

25687.64

25628.29

22738.92

4.00E-04

31347.55

30984.3

31484.12

27653.1

3.00E-04

40549.93

40845.78

40562.37

36072.61

2.00E-04

59255.58

59526.14

59150.38

53116.99

1.00E-04

114094.8

111861.3

112058

100986.2

s

3

3

3

5

851,852,853不重合的需要移位的粒子都只有3个,因此他们的迭代次数相同。而854不重合粒子有5个,按照移位粒子数量和迭代次数之间的反比关系,854的迭代次数要小些。

做第二组

同样统计迭代次数

851

852

853

854

855

856

857

858

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

25288.76

25687.64

25628.29

22738.92

25451.39

22453.8

22649.25

22418.6

4.00E-04

31347.55

30984.3

31484.12

27653.1

31410.07

27650.26

27925.52

27807.69

3.00E-04

40549.93

40845.78

40562.37

36072.61

40813.36

36050.68

36206.22

36315.7

2.00E-04

59255.58

59526.14

59150.38

53116.99

59125.05

52699.7

52560.17

52650.34

1.00E-04

114094.8

111861.3

112058

100986.2

112628.3

101393.2

101142.5

101611.5

s

3

3

3

5

3

5

5

5

855的移位粒子数是3因此和851,852,853的迭代次数相同。而856,857,858的移位粒子数是5因此和854的迭代次数相同,数据符合假设。

再与前面实验数据横向比较

981

871

971

881

861

122

961

875

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

34219.01

34553.02

28229.22

27843.89

28270.21

25862.05

25523.99

25117.39

4.00E-04

41899.68

41568.85

34548.15

34511.79

34803.25

31524.1

30958.15

31102.23

3.00E-04

53474.56

54287.27

44497.27

44407.41

45065.05

41011.36

40262.78

40239.05

2.00E-04

77797.83

78173.77

64693.36

64832.42

64707.93

59270.11

59096.97

58618.7

1.00E-04

148175

146473.4

123601.3

122874.1

123288

112397.9

113446.1

111994.6

s

1

1

2

2

2

3

3

3

851

951

866

941

854

931

921

911

δ

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

迭代次数n

5.00E-04

25288.76

23904.73

23868.01

22959.57

22738.92

22166.65

22094.36

23575.86

4.00E-04

31347.55

28978.03

28820.87

27774.2

27653.1

27290.48

27253.6

28991.81

3.00E-04

40549.93

38252.24

37659.14

35993.35

36072.61

35639.73

35340.25

37399.98

2.00E-04

59255.58

55426.48

54661.18

52950.71

53116.99

51890.25

52155.43

54335.16

1.00E-04

114094.8

106880.8

106599.8

101146.2

100986.2

100158

98502.28

102787.2

s

3

4

4

5

5

6

7

8

数据符合假设。

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑榆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值