高级实训任务一：基于CNN及其变体的图像分类

实验内容

卷积神经网络（CNN）因为其能够自动抽取图像的浅层到深层的特征，所以在近几年有许多应用。实验尝试使用深度学习框架Tensorflow，用AlexNet、ResNet两种CNN来对MNIST手写数据集进行图像分类。

实验原理

公式

ReLU Nonlinearity(Rectified Linear Unit)

卷积层使用ReLU代替sigmoid作为激活函数，加快收敛速度。Rectify指取不小于0的数。
$$f(x)=max(0,x)$$

Local Response Normalization(局部响应归一化)

在神经网络中，我们用激活函数将神经元的输出做一个非线性映射，但是ReLU激活函数得到的值域没有一个区间，所以要对ReLU得到的结果进行归一化，也就是Local Response Normalization。局部响应归一化的方法如下面的公式：
k = 2 , n = 5 , α