线性预测参数以及降维的理解

Dense层中,一般操作都是把一个tensor降维到目标的预测结果,比如说:
tensor是[28,1,28,28] #[batch,inchannel,heigth,width]
先被reshape成[28,784] #[batch,channel]
接着在二分类中会被降维成[28,2] #[batch,outchannel]

具体的操作方法在pytorch中的实现是:

data.reshape(-1, 1*28*28)
dense1 = nn.Linear(in_features=784, out_features=392)
dense2 = nn.Linear(in_features=392, out_features=196)
dense3 = nn.Linear(in_features=196, out_features=2)

参数权重:

比如来的数据是[28,1,28,28]到Dense层中 #[batch,inchannel,heigth,width]
那会被reshape成[28,784]. (也就是拉成一行,这样才能在线性层中预测)
dense1网络参数权重就是[392 x 784] #[outchannel * inchannel]
同理,dense2是[196 x 392]
dense3是[2 x 196]
可以参考下图理解:
啊实打实的
在这张图中,目的是把一个4维的tensor降维成3维
输入是一个[1*4],经过一个【outchannel * inchannel】大小的权重矩阵做矩阵乘法,就降维为3维

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值