4*4图片权重的收敛规则

实验对比了4*4图像分类任务中二值化神经网络权重的收敛情况,发现权重在列分布上保持正负对称,A0和B0列呈现显著的正负相反关系,而重合0列权重不变。然而,重合1列的权重关系比预期复杂,不再简单地与A0或B0列正负关系相反。因此,修正权重分布规则为:按列分布,正负对称,A0或B0列显著且正负相反,重合1列高度小,重合0列无变化。
摘要由CSDN通过智能技术生成

在前面的实验中得到,二值化神经网络权重是按照如下的规则收敛

按列分布,

正负对称,

A0列或B0列高度比较突出,且A0列或B0列彼此之间正负关系相反

重合1列的高度较小,且正负关系与A0列或B0列相反

重合0列没有变化

A0列,B0列,重合1列,重合0列彼此之间几乎一致。

这次验证这一规则是否适用于更大的4*4的图片

(A,B)---16*16*2---(1,0)(0,1)

用神经网络分类A和B,A和B中都只有13个1.这样一组图片包含了二值化神经网络权重的所有4个组成部分。有A0列x=0,15;B0列x=2,3,重合0列x=1;重合1列x=4,5,6,7,8,9,10,11,12,13.

按照规则,A0列和B0列正负相反,重合1列和A0列或B0列正负相反,重合0列无变化,将权重用openscad画出

从图中可以明确的观察到x=0,15的两列彼此一致,x=2,3的两列彼此一致,且x=0,15和x=2,3的两组正负相反。

收敛w1

-0.329

0.083

0.3359

0.2429

-0.006

0.063

-0.062

0.037

0.004

0.041

0.023

-0.066

-0.05

0.045

0.002

-0.224

1.2635

-0.088

-1.147

-1.238

-0.04

0.0121

-0.046

-0.044

-0.01

-0.082

-0.078

0.0891

0.0771

0.0511

0.0041

1.1565

1.0242

-0.062

-0.968

-1.025

-0.076

-0.046

0.005

0.049

0.019

0.041

0.035

-0.034

-0.066

0.039

0.003

0.9232

-1.357

0.075

1.4721

1.3881

-0.065

-0.006

-0.012

0.0137

-0.018

-0.025

0.0537

-0.085

0.0137

0.0237

0.0637

-1.323

0.6707

-0.016

-0.697

-0.628

-0.099

-0.008

-0.033

-0.012

0.0517

0.0757

0.0397

0.0517

0.0137

0.0017

-0.093

0.5397

-0.121

0.077

0.1824

0.2164

-0.071

-0.033

0.0742

-0.085

0.0582

0.0282

0.0442

0.0862

-0.037

0.0082

0.0102

-0.057

-0.821

0.037

0.868

0.961

-0.072

0.0184

-0.03

0.0974

0.0734

0.1154

-0.012

-0.072

-0.064

0.0064

-0.066

-0.888

1.0992

-0.05

-1.017

-1.057

-0.043

0.0803

-0.007

0.0503

-0.073

-0.075

0.0443

-0.053

-0.049

-0.059

0.0603

1.1132

-1.13

-0.064

1.0965

1.0745

-0.066

0.0056

0.0176

-0.016

-0.064

-0.012

0.1086

0.0866

-0.056

0.0446

0.0056

-1.044

-1.183

-0.026

1.3128

1.1658

######

-0.026

-0.034

0.0509

0.0629

0.0469

-0.046

0.0019

-0.054

0.0429

-0.01

-1.268

0.2227

0.083

-0.182

-0.259

-0.033

0.0896

-0.025

0.0656

-0.055

-0.055

0.0196

-0.043

-0.025

0.0856

0.0356

0.0857

0.6218

-0.008

-0.611

-0.667

-0.05

0.083

0.015

0.025

0.059

0.071

-0.068

-0.11

-0.018

0.019

-0.1

0.6638

1.1543

0.097

-1.257

-1.162

-0.034

-0.104

-0.015

0.0505

0.0305

-0.048

0.0185

-0.096

0.0365

0.0505

0.0565

1.2793

-1.458

0.055

1.4164

1.4184

-0.09

0.0348

0.0548

0.0328

0.0768

-0.015

0.0588

-0.03

-0.013

-0.074

-0.015

-1.327

1.0669

-0.078

-1.172

-1.184

-0.067

0.1082

-0.005

-0.043

0.0522

0.0382

-0.011

0.0222

-0.069

-0.073

0.0182

1.2459

0.1969

0.069

-0.053

-0.214

0.061

0.059

0.011

-0.034

0.015

-0.046

-0.062

-0.042

0.029

0.013

-0.086

0.0939

初始w1

-0.084

0.083

0.079

-0.014

-0.018

0.051

-0.074

0.025

-0.008

0.029

0.011

-0.078

-0.062

0.033

-0.01

0.021

0.023

-0.088

0.077

-0.014

-0.056

-0.004

-0.062

-0.06

-0.026

-0.098

-0.094

0.073

0.061

0.035

-0.012

-0.084

0.047

-0.062

0.029

-0.028

-0.056

-0.026

0.025

0.069

0.039

0.061

0.055

-0.014

-0.046

0.059

0.023

-0.054

0.041

0.075

0.097

0.013

-0.042

0.017

0.011

0.037

0.005

-0.002

0.077

-0.062

0.037

0.047

0.087

0.075

0.041

-0.016

-0.046

0.023

-0.078

0.013

-0.012

0.009

0.073

0.097

0.061

0.073

0.035

0.023

-0.072

-0.09

0.029

0.077

0.031

0.065

-0.072

-0.034

0.073

-0.086

0.057

0.027

0.043

0.085

-0.038

0.007

0.009

0.093

0.041

0.037

-0.02

0.073

-0.098

-0.008

-0.056

0.071

0.047

0.089

-0.038

-0.098

-0.09

-0.02

-0.092

-0.026

-0.02

-0.05

0.093

0.053

-0.052

0.071

-0.016

0.041

-0.082

-0.084

0.035

-0.062

-0.058

-0.068

0.051

-0.006

-0.088

-0.064

0.035

0.013

-0.086

-0.014

-0.002

-0.036

-0.084

-0.032

0.089

0.067

-0.076

0.025

-0.014

-0.002

0.047

-0.026

0.055

-0.092

-0.028

-0.054

-0.062

0.023

0.035

0.019

-0.074

-0.026

-0.082

0.015

-0.038

-0.038

0.039

0.083

0.009

-0.068

-0.026

0.097

-0.018

0.073

-0.048

-0.048

0.027

-0.036

-0.018

0.093

0.043

-0.098

-0.046

-0.008

0.069

0.013

-0.038

0.095

0.027

0.037

0.071

0.083

-0.056

-0.098

-0.006

0.031

-0.088

-0.004

-0.028

0.097

-0.042

0.053

-0.002

-0.072

0.017

0.083

0.063

-0.016

0.051

-0.064

0.069

0.083

0.089

0.097

-0.054

0.055

0.033

0.035

-0.07

0.055

0.075

0.053

0.097

0.005

0.079

-0.01

0.007

-0.054

0.005

0.077

-0.096

-0.078

-0.026

-0.038

-0.084

0.091

-0.022

-0.06

0.035

0.021

-0.028

0.005

-0.086

-0.09

0.001

0.083

0.085

0.069

0.063

-0.098

0.065

0.063

0.015

-0.03

0.019

-0.042

-0.058

-0.038

0.033

0.017

-0.082

-0.018

收敛w1

初始w1

0.083

0.083

-0.088

-0.088

-0.062

-0.062

0.075

0.075

-0.016

-0.016

0.077

0.077

0.037

0.037

-0.05

-0.05

-0.064

-0.064

-0.026

-0.026

0.083

0.083

-0.008

-0.008

0.097

0.097

0.055

0.055

-0.078

-0.078

0.069

0.069

比较两组权重的第二列,是一样的,因此重合0列权重确实没有变化。这两条都符合规则。

但重合1列的变化关系变得复杂了。重合1列彼此之间并不一致,也很难找到与A0和B0和重合1列的正负关系。因此权重的分布关系可以被修正为

按列分布,正负对称,

A0列或B0列比较显著,且A0列或B0列彼此之间正负关系相反

重合1列的高度较小

重合0列没有变化

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑榆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值