莫烦 神经网络学习笔记（2）

神经网络学习笔记（二）莫烦

三、高级神经网络结构

1.卷积神经网络CNN

polling的作用：
在每一次卷积的时候, 神经层可能会无意地丢失一些信息. 这时, 池化 (pooling) 就可以很好地解决这一问题. 而且池化是一个筛选过滤的过程, 能将 layer 中有用的信息筛选出来, 给下一个层分析. 同时也减轻了神经网络的计算负担 (具体细节参考). 也就是说在卷集的时候, 我们不压缩长宽, 尽量地保留更多信息, 压缩的工作就交给池化了,这样的一项附加工作能够很有效的提高准确性。
卷积神经网络有一个批量过滤器，是对图像上每一小块的处理，保存了图像的连续性。
1）数据集的准备（Mnist手写数据集）

mport torch
import torch.nn as nn
import torch.utils.data as Data
import torchvision      # 数据库模块
import matplotlib.pyplot as plt

torch.manual_seed(1)    # reproducible

# Hyper Parameters
EPOCH = 1           # 训练整批数据多少次, 为了节约时间, 我们只训练一次
BATCH_SIZE = 50
LR = 0.001          # 学习率
DOWNLOAD_MNIST = True  # 如果你已经下载好了mnist数据就写上 False


# Mnist 手写数字
train_data = torchvision.datasets.MNIST(
    root='./mnist/',    # 保存或者提取位置
    train=True,  # this is training data
    transform=torchvision.transforms.ToTensor(),    # 转换 PIL.Image or numpy.ndarray 成
                                                    # torch.FloatTensor (C x H x W), 训练的时候 normalize 成 [0.0, 1.0] 区间
    download=DOWNLOAD_MNIST,          # 没下载就下载, 下载了就不用再下了
)

黑色的地方的值都是0, 白色的地方值大于0。
除了训练数据, 还给一些测试数据, 测试看看它有没有训练好。
test_data = torchvision.datasets.MNIST(root=’./mnist/’, train=False)

# 批训练 50samples, 1 channel, 28x28 (50, 1, 28, 28)
train_loader = Data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)

# 为了节约时间, 我们测试时只测试前2000个
test_x = torch.unsqueeze(test_data.test_data, dim=1).type(torch.FloatTensor)[:2000]/255.   # shape from (2000, 28, 28) to (2000, 1, 28, 28), value in range(0,1)
test_y = test_data.test_labels[:2000]

2）构建CNN模型
用一个 class 来建立 CNN 模型. 这个 CNN 整体流程是 卷积(Conv2d) -> 激励函数(ReLU) -> 池化, 向下采样 (MaxPooling) -> 再来一遍 -> 展平多维的卷积成的特征图 -> 接入全连接层 (Linear) -> 输出。

class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Sequential(  # input shape (1, 28, 28)
            nn.Conv2d( #卷积层，是一个过滤器，有长宽高三个属性，是三维的，高度是有多少个fiter.
                in_channels=1,      # input height 也就是输入图像是有多少层，或者高度是多少，手写数字的高度就是1
                out_channels=16,    # n_filters 16个不同的滤波器
                kernel_size=5,      # filter size  filter(过滤器的长和宽是5*5)
                stride=1,           # filter movement/step
                padding=2,      # 如果想要 con2d 出来的图片长宽没有变化, padding=(kernel_size-1)/2 当 stride=1 为了不丢失边缘特征，填充为0的数据 padding = (kernel_sizesize-1)/2=(5-1)/2
            ),      # output shape (16, 28, 28)
            nn.ReLU(),    # activation 卷积层
            nn.MaxPool2d(kernel_size=2),    # 在 2x2 空间里向下采样, output shape (16, 14, 14) 这里参数为的含义是使用了一个2*2的区域的中间最大的值，//变成14的原因，是减少了一倍 池化层
        )
        self.conv2 = nn.Sequential(  # input shape (16, 14, 14) 
            nn.Conv2d(16, 32, 5, 1, 2),  # output shape (32, 14, 14) 输入的图片是16层，在这一层需要加工成32层，后面的参数 kernel_size\stride和padding都不变
            nn.ReLU(),  # activation
            nn.MaxPool2d(2),  # output shape (32, 7, 7)
        )
        self.out = nn.Linear(32 * 7 * 7, 10)   # fully connected layer, output 10 classes 输出层，输出了10个分类的东西

    def forward(self, x):
        x = self.conv1(x)
        x = self