【Pytorch】7. Pytorch搭建多层全连接神经网络实现MNIST图像分类任务

一、全连接神经网络介绍

全连接神经网络是一种最基本的神经网络结构，英文为Full Connection，所以一般简称FC。FC的神经网络中除输入层之外的每个节点都和上一层的所有节点有连接。例如下面这个网络结构就是典型的全连接：

神经网络的第一层为输入层，最后一层为输出层，中间所有的层都为隐藏层。在计算神经网络层数的时候，一般不把输入层算做在内，所以上面这个神经网络为2层。其中输入层有3个神经元，隐层有4个神经元，输出层有2个神经元。

二、三层FC实现MNIST手写数字分类

先用 PyTorch 实现最简单的三层全连接神经网络，然后添加激活层查看试验结果， 最后再加上批标准化验证是否能够更加有效。

import torch
import matplotlib.pyplot as plt
import torch.optim as optim
from torch.autograd import Variable
import torch.nn as nn
import numpy as np
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

1、简单的三层全连接神经网络

'''
输入的维度：in_dim；
第一层神经网络的神经元个数n_hidden_1；
第二层神经网络神经元的个数n_hidden_2,out_dim
第三层网络(输出成)神经元的个数
'''
class simpleNet(nn.Module):
    def __init__(self,in_dim,n_hidden_1,n_hidden_2,out_dim):
        super(simpleNet,self).__init__()
        self.layer1 = nn.Linear(in_dim,n_hidden_1)
        self.layer2 = nn.Linear(n_hidden_1,n_hidden_2)
        self.layer3= nn.Linear(n_hidden_2,out_dim)
        
    def forward(self,x):
        hidden_1_out = self.layer1(x)
        hidden_2_out = self.layer2(hidden_1_out)
        out = self.layer3(hidden_2_out)
        return out

2、添加激活函数

#nn.Sequential将网络的层组合到一起里面,按顺序进行网络构建。
#激活层和池化从都不需要参数。
class Activation_Net(nn.Module):
    def __init__(self,in_dim,n_hidden_1,n_hidden_2,out_dim):
        super(Activation_Net,self