Pytorch 张量及输入输出计算详细公式

Pytorch 张量及输入输出计算及参数量详细公式

1.张量

一般文本使用三维张量，适合用于RNN和NLP。如20句话，每句话10个单词，每个单词用100个分量的向量表示，得到的Tensor就是shape=[20, 10, 100]。

四维张量，适合用于CNN表示图像。例如100张MNIST数据集的灰度图(通道数为1，如果是RGB图像通道数就是3)，每张图高28像素，宽28像素，那么这个Tensor的shape=[100, 1, 28, 28]，也就是一个batch的数据维度：[batch_size, channel, height, width]。

2.给定输入计算输出的详细过程

首先给出计算公式

卷积后，池化后尺寸计算公式：
(图像尺寸-卷积核尺寸 + 2填充值)/步长+1
(图像尺寸-池化窗尺寸 + 2填充值)/步长+1

即：

卷积神将网络的计算公式为：
N=(W-F+2P)/S+1
其中
N：输出大小
W：输入大小
F：卷积核大小
P：填充值的大小
S：步长大小

参数量计算

全连接层：输入x输出 + 1（bias)
卷积层：kernelsize x channel number + 1(bias)
maxpooling： 0 不需要参数

Conv2d

class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)
几个参数:
in_channels=3:表示的是输入的通道数，直接通过输入的通道的数量来确定。
out_channels:表示的是输出的通道数，设定输出通道数（这个是可以根据自己的需要来设置的）。
kernel_size=12:表示卷积核的大小是12x12的，也就是上面的 F=12。
stride=4:表示的是步长为4，也就是上面的S=4。
padding=2:表示的是填充值的大小为2，也就是上面的P=2。

MaxPool2d

class torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
kernel_size(int or tuple) - max pooling的窗口大小
stride(int or tuple, optional) - max pooling的窗口移动的步长。默认值是kernel_size。
pool操作并不改变张量的通道个数。

下面通过一个简单的卷积神经网络来计算详细步骤

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F
class ConvNet(nn.Module):
	def __init__(self