CV小白实践--实现MNIST手写数字识别时遇到的问题

1.RuntimeError: size mismatch, m1: [800 x 4], m2: [320 x 50]

问题原因：这个问题出现在神经网络最后一层卷积层与第一层全连接层之间。首先来看一下我实现的神经网络的结构。

 def __init__(self):
        super(Net,self).__init__()
        self.conv1 = nn.Conv2d(1,10,5)
        self.pool = nn.MaxPool2d(kernel_size = 2,stride = 2)
        self.conv2 = nn.Conv2d(10,20,5)
        self.fc1 = nn.Linear(320,50)
        self.fc2 = nn.Linear(50,10)

最后一层卷积层self.conv2的in_channels = 10，out_channels = 20,kernel_size = 5。另外该网络的batch_size设定为10。第一层全连接层self.fc1的两个参数设定分别为320,50。在运行之前有计算过self.convx层经过池化之后输出的tensor的size是10 20 4 4。第一个参数代表batch_size,第二个则与self.conv2中层中filters的数量相同。后面两个参数自然是输出的feature map的尺寸。20*4*4 = 320 与self.fc1的in_features参数相同。然后实际运行的结果与我的理解不同。因为全连接层的输入是二维的，对于上一层的输出，其维度如果高于二维，那么全连接层将会改变其形状。具体到我的网络，其将self.conv2输出tensor的维度[10 20 4 4]转变成[10*20*4  4]，显然这是不正确的。可能会有一些人和我一样认为不需要对self.fc1的输入进行调整，让self.fc1对其自适应调整即可，从这个问题来看并不是这样。

解决方案：既然self.fc1自适应调整的结果并不是我们想要的，那么我们就要自己对输入tensor的维度根据全连接层输入的特点进行调整。下面来介绍一下torch.view()这个函数。view()函数的作用是重构张量维度，与numpy中resize()函数作用类似。view()会在不改变原张量的基础上，对原张量的维度进行变化。下面是我在forward函数中利用view（）函数做从改变。

    def forward(self,x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1,20*4*4)
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

其中view(-1,20*4*4)中-1的意思是告诉计算机根据原来张量的size自己计算这个位置的参数。添加这一行后问题顺利解决。

2.torch.nn.XXX 与functional.XXX的异同点

这个问题是我在选择损失函数时遇到的，知乎上有一篇帖子已经说的很详细了，链接如下。