初识卷积神经网络

一、LeNet网络（1998）

LeNet网络有五层。两个卷积层，三个全连接层。这里说的卷积层包括激活层和池化层，全连接层包括连接层和激活层。

self.conv = torch.nn.Sequential(
                                        torch.nn.Conv2d(in_channels=1,out_channels=6,kernel_size=5,stride=1,padding=0),
                                        torch.nn.Sigmoid(),
                                        torch.nn.MaxPool2d(kernel_size=(2,2),stride=2),
                                        
                                        torch.nn.Conv2d(in_channels=6,out_channels=16,kernel_size=5,stride=1,padding=0),
                                        torch.nn.Sigmoid(),
                                        torch.nn.MaxPool2d(kernel_size=(2,2),stride=2)
                                        )
self.fc = torch.nn.Sequential(
                                        torch.nn.Linear(16*4*4,120),
                                        torch.nn.Sigmoid(),
                                        torch.nn.Linear(120,84),
                                        torch.nn.Sigmoid(),
                                        torch.nn.Linear(84,10)
                                        )

二、AlexNet网络（2012）

AlexNet网络一共有八层，前有五个卷积层，后面为三个全连接层。

self.conv = nn.Sequential(
            nn.Conv2d(1, 96, 11, 4),
            nn.ReLU(),
            nn.MaxPool2d(3, 2), 
           
            nn.Conv2d(96, 256, 5, 1, 2),
            nn.ReLU(),
            nn.MaxPool2d(3, 2),
           
            nn.Conv2d(256, 384, 3, 1, 1),
            nn.ReLU(),
            nn.Conv2d(384, 384, 3, 1, 1),
            nn.ReLU(),
            nn.Conv2d(384, 256, 3, 1, 1),
            nn.ReLU(),
            nn.MaxPool2d(3, 2)
        )
      
        self.fc = nn.Sequential(
            nn.Linear(256*5*5, 4096),
            nn.ReLU(),
            nn.Dropout(0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(),
            nn.Dropout(0.5),
        
            nn.Linear(4096, 10),
        )

激活函数的选取和区别：

1、sigmoid函数：

$$f(x)=1/(1+e^{(-x)})$$
（1）sigmoid函数当值特别大或者特别小，会是梯度趋于0，即sigmoid函数饱和使梯度消失。
（2）sigmoid函数输出不是“零为中心”
（3）指数函数的计算是比较消耗计算资源的。

2、tanh函数

$$tanh(x)=(1-e^{-2x})/(1+e^{-2x})$$
（1）tanh解决了sigmoid的输出非“零为中心”的问题
（2）依然有过饱和的问题
（3）依然进行的是指数运算

3、ReLU函数

$$f(x)=max(0,x)$$
（1）解决了梯度消失的问题，至少x在正区间内，神经元不会饱和；
（2）由于ReLU线性、非饱和的形式，在SGD中能够快速收敛；
（3）运算速度要快很多。ReLU函数只有线性关系，不需要指数计算，不管前向传播还是反向传播，计算速度都比sigmoid和tanh快。

还有几种类似ReLU函数的激活函数，这里不详细说了