【深度学习】- 作业2: MNIST手写数字识别

课程链接: 清华大学驭风计划

代码仓库：Victor94-king/MachineLearning: MachineLearning basic introduction (github.com)

驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算机语言(刘知远教授) 以及数据结构与算法(邓俊辉教授)。本人是综合成绩第一名，除了数据结构与算法其他单科均为第一名。代码和报告均为本人自己实现，由于篇幅限制，只展示任务布置以及关键代码，如果需要报告或者代码可以私聊博主

机器学习部分授课老师为胡晓林教授，主要主要通过介绍回归模型，多层感知机，CNN，优化器，图像分割，RNN & LSTM 以及生成式模型入门深度学习

有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~

任务介绍

1 数据集简介

MNIST手写数字识别数据集是图像分类领域最常用的数据集之一，它包含60,000张训练图片，10,000张测试图片，图片中的数字均被缩放到同一尺寸且置于图像中央，图片大小为28×28。MNIST数据集中的每个样本都是一个大小为784×1的矩阵(从28×28转换得到)。MNIST数据集中的数字包括0到9共10类，如下图所示。注意，任何关于测试集的信息都不该被引入训练过程。

在本次案例中，我们将构建多层感知机来完成MNIST手写数字识别。

2 构建多层感知机

本次案例提供了若干初始代码，可基于初始代码完成案例，各文件简介如下：

（运行初始代码之前请自行安装TensorFlow 2.0及以上版本，仅用于处理数据集，禁止直接调用TensorFlow函数）

lmlp.ipynb包含了本案例的主要内容，运行文件需安装Jupyter Noterbook.

lnetwork.py定义了网络，包括其前向和后向计算。

loptimizer.py定义了随机梯度下降(SGD)，用于完成反向传播和参数更新。

lsolver.py定义了训练和测试过程需要用到的函数。

lplot.py用来绘制损失函数和准确率的曲线图。

此外，在/criterion/和/layers/路径下使用模块化的思路定义了多个层，其中每个层均包含三个函数：__init__用来定义和初始化一些变量，forward和backward函数分别用来完成前向和后向计算：

lFCLayer为全连接层，输入为一组向量（必要时需要改变输入尺寸以满足要求），与权重矩阵作矩阵乘法并加上偏置项，得到输出向量: .

lSigmoidLayer为sigmoid激活层，根据计算输出。

lReLULayer为ReLU激活层，根据计算输出。

lEuclideanLossLayer为欧式距离损失层，计算各样本误差的平方和得到: 。

lSoftmaxCrossEntropyLossLayer可以看成是输入到如下概率分布的映射：

其中是输入向量X中的第k个元素，该输入被分到第k个类别的概率。由于softmax层的输出可以看成一组概率分布，我们可以计算delta似然及其对数形式，称为Cross Entropy误差函数：

其中

注意：此处的softmax损失层与案例1中有所差异，本次案例中的softmax层不包含可训练的参数，这些可训练的参数被独立成一个全连接层。

3 案例要求

完成上述文件里的‘#TODO’部分(红色标记的文件)，提交全部代码及一份案例报告，要求如下：

l记录训练和测试准确率，绘制损失函数和准确率曲线图；

l比较分别使用Sigmoid和ReLU激活函数时的结果，可以从收敛情况、准确率等方面比较；

l比较分别使用欧式距离损失和交叉熵损失时的结果；

l构造具有两个隐含层的多层感知机，自行选取合适的激活函数和损失函数，与只有一个隐含层的结果相比较；

l本案例中给定的超参数可能表现不佳，请自行调整超参数尝试取得更好的结果，记录下每组超参数的结果，并作比较和分析。

4 注意事项

l提交所有代码和一份案例报告；

l注意程序的运行效率，尽量使用矩阵运算，而不是for循环；

l本案例中不允许直接使用TensorFlow, Caffe, PyTorch等深度学习框架；

l禁止任何形式的抄袭。

报告

实验结果

Relu Vs sigmoid

<br>

不同参数之间的影响

<br>