The expanded size of the tensor (256) must match the existing size (81) at non-singleton dimension1

#RuntimeError: The expanded size of the tensor (256) must match the existing size (81) at non-singleton dimension 1

 在写以下代码的时候遇到的

self.inputFC[4].bias.data=torch.eye(3).view(-1)

另一种原因：

import torch.nn as nn
net= nn.Sequential(
    nn.Linear(1024, 512),
    nn.ReLU(inplace=True),
    nn.Linear(512, 256),
    nn.ReLU(inplace=True),
    nn.Linear(256, 6),
)
cnn=nn.Sequential(
    nn.Conv2d(3,8,3,1,1),
    nn.Conv2d(8,19,3,1,1)
)
print(cnn[0].weight.data.size())
print(cnn[1].weight.data.size())

print(net[0].weight.data.size())

print(net[2].weight.data.size())

print(net[4].weight.data.size())

print(cnn[0].bias.data.size())
print(cnn[1].bias.data.size())

print(net[0].bias.data.size())

print(net[2].bias.data.size())

print(net[4].bias.data.size())

以上代码的输出为：

•  torch.Size([8, 3, 3, 3])
• torch.Size([19, 8, 3, 3])
• torch.Size([512, 1024])
• torch.Size([256, 512])
• torch.Size([6, 256])
• torch.Size([8])
• torch.Size([19])
• torch.Size([512])
• torch.Size([256])
• torch.Size([6])

可以看到，weight.data的维度是定义时候的转置。卷积层的权重的大小为【输出通道，输入通道，卷积核长，卷积核宽】。

所以初始化的时候要和这些大小相一致！

本来是要对bias用一个3阶单位阵初始化，但是里面的参数写成了9，这样就会用一个大于bias尺寸的数据来填充它。当然也可以用比bias尺寸小的数据来填充它，但是这样做的话在进行feedforward的时候就会出现上面的错误。

如果在给权重和赋值的时候没有维度个数也没有写对的话就会出现：

expected stride to be a sigle integer value or a list of 1 values to match the dimensions，but got stride=[1,1]

不知道pytorch为什么允许用尺寸不一样的数据来初始化权重或者偏执，到了feed-forward才会报错。应该在初始化的时候就不允许这样的赋值操作，如果你知道原因，欢迎留言！