关于神经网络中的线性层的一点思考

在看一个算法的代码实现中,我在分析一行代码的时候,有点不知道为什么这么写:

model_1.module.classifier.weight.data.copy_(torch.from_numpy(normalize(km.cluster_centers_, axis=1)).float().cuda())

km.cluster_centers,是聚类后的各个类的中心,将这些中心标准化以后直接赋值到了线性层的参数中,一直没能理解为什么这么做,后来有一点想明白了。

我们假设一个线性层的输入特征是M维的,输出是N维的,如果不加思考的化,就是一个M维到N维的转换。但是深入一点的思考的化,其实可以将其理解为:将M维的向量,与N个M维的向量(Normalize后则是单位向量)做内积,生成了N个内积,内积i代表着输入特征在第i个向量上的投影,这个值越大,代表着输入向量与这个向量的关系越紧密。

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值