全连接与卷积计算的关系(全连接到全卷积)

全连接与卷积计算的关系

全连接的输入：前一层激活函数的输出
全连接的输出：下一层激活函数的输入

从图中可以看出，全连接的输出维度5，可以看做卷积计算中的channel。同样也可以看出，如果我们将全连接的输入reshape成[?, ?, in_channel],并将全连接的参数reshape成[?, ?,in_channel, out_channel],并将reshape后的值做卷积运算的话，发现，之前全连接中存在的 input-weight的对应关系在卷积运算中是保留的。