清华大学驭风计划课程链接
学堂在线 - 精品在线课程学习平台 (xuetangx.com)
代码和报告均为本人自己实现(实验满分),只展示主要任务实验结果,如果需要详细的实验报告或者代码可以私聊博主,可接实验指导1对1
有任何疑问或者问题,也欢迎私信博主,大家可以相互讨论交流哟~~
案例2:构建自己的多层感知机: MNIST手写数字识别
相关知识点: numpy科学计算包,如向量化操作,广播机制等
1 数据集简介
MNIST手写数字识别数据集是图像分类领域最常用的数据集之一,它包含60,000张训练图片,10,000张测试图片,图片中的数字均被缩放到同一尺寸且置于图像中央,图片大小为28×28。MNIST数据集中的每个样本都是一个大小为784×1的矩阵(从28×28转换得到)。MNIST数据集中的数字包括0到9共10类,如下图所示。注意,任何关于测试集的信息都不该被引入训练过程。
在本次案例中,我们将构建多层感知机来完成MNIST手写数字识别。
2 构建多层感知机
本次案例提供了若干初始代码,可基于初始代码完成案例,各文件简介如下:
(运行初始代码之前请自行安装TensorFlow 2.0及以上版本,仅用于处理数据集,禁止直接调用TensorFlow函数)
lmlp.ipynb包含了本案例的主要内容,运行文件需安装Jupyter Noterbook.
lnetwork.py定义了网络,包括其前向和后向计算。
loptimizer.py定义了随机梯度下降(SGD),用于完成反向传播和参数更新。
lsolver.py定义了训练和测试过程需要用到的函数。
lplot.py用来绘制损失函数和准确率的曲线图。
此外,在/criterion/和/layers/路径下使用模块化的思路定义了多个层,其中每个层均包含三个函数:__init__用来定义和初始化一些变量,forward和backward函数分别用来完成前向和后向计算:
lFCLayer为全连接层,输入为一组向量(必要时需要改变输入尺寸以满足要求),与权重矩阵作矩阵乘法并加上偏置项,得到输出向量:
.
lSigmoidLayer为sigmoid激活层,根据
计算输出。
lReLULayer为ReLU激活层,根据
计算输出。
lEuclideanLossLayer为欧式距离损失层,计算各样本误差的平方和得到:
。
lSoftmaxCrossEntropyLossLayer可以看成是输入到如下概率分布的映射:
其中
是输入向量X中的第k个元素,
该输入被分到第k个类别的概率。由于softmax层的输出可以看成一组概率分布,我们可以计算delta似然及其对数形式,称为Cross Entropy误差函数:
其中
注意:此处的softmax损失层与案例1中有所差异,本次案例中的softmax层不包含可训练的参数,这些可训练的参数被独立成一个全连接层。
3 案例要求
完成上述文件里的‘#TODO’部分(红色标记的文件),提交全部代码及一份案例报告,要求如下:
l记录训练和测试准确率,绘制损失函数和准确率曲线图;
l比较分别使用Sigmoid和ReLU激活函数时的结果,可以从收敛情况、准确率等方面比较;
l比较分别使用欧式距离损失和交叉熵损失时的结果;
l构造具有两个隐含层的多层感知机,自行选取合适的激活函数和损失函数,与只有一个隐含层的结果相比较;
l本案例中给定的超参数可能表现不佳,请自行调整超参数尝试取得更好的结果,记录下每组超参数的结果,并作比较和分析。
4实验结果
1,记录训练和测试准确率,绘制损失函数和准确率曲线图
2,比较分别使用 Sigmoid 和 ReLU 激活函数时的结果,可以从收敛情况、准确率等方面比较;
3,比较分别使用欧式距离损失和交叉熵损失时的结果
4,构造具有两个隐含层的多层感知机,自行选取合适的激活函数和损失函数,与只有一个隐含层的结果相比较
5,本案例中给定的超参数可能表现不佳,请自行调整超参数尝试取得更好的结果,记录下每组超参数的结果,并作比较和分析。
不同学习率结果比较:
不同权重衰减值的结果比较:
![](https://i-blog.csdnimg.cn/blog_migrate/1117b672a329fd0e0bb53985f5309642.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62c2b1a273b5a382826a8dc699e19c12.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c7ecf99e8e49417fae79378967866368.png)