利用Numpy实现全连接神经网络实验分析

一、实验要求

用 python 的 numpy 模块实现全连接神经网络。网络结构为一个输入层、一个隐藏层、一个输出层。隐藏层的激活函数为 Relu 函数，输出层的激活函数为 softmax 函数，损失函数为交叉熵。

二、实验目的

学会构建一个简单的全连接神经网络模型
学习使用Python的NumPy模块进行神经网络的搭建和训练
增加对前馈神经网络，参数学习，激活函数的了解
学会对模型进行优化、改进，比如：学习率调整、正则化等操作

三、实验过程

1.搭建神经网络

首先，在虚拟环境进行环境配置，创建虚拟环境，并进入，安装tensorflow和numpy模块。

用Python完成神经网络模型的构建，包括两个隐藏层和一个输出层，并且使用了矩阵乘法、ReLU激活函数、Softmax函数和交叉熵函数等操作。部分代码讲解：

对图像数据进行预处理

定义myModel类，是一个简单的神经网络模型，模型包含两个隐藏层和一个输出层，使用了矩阵乘法、ReLU激活函数、Softmax函数和交叉熵函数等操作。类的构造函数 __init__() 初始化了模型的权重 W1 和 W2，这些权重是随机生成的矩阵，以及用于执行矩阵乘法、ReLU、Softmax和交叉熵操作的实例对象。forward() 方法用于执行模型的前向传播操作。该方法首先将输入数据 x 转换为二维矩阵，并在末尾添加偏置项。然后，通过矩阵乘法、ReLU激活函数、矩阵乘法和Softmax函数的顺序，计算模型的输出结果 h2_soft，即预测的概率分布。最后，计算并存储交叉熵损失值 loss。backward() 方法用于执行模型的反向传播操作。接收标签 labels 作为输入，并按照与前向传播相反的顺序，调用各个操作的反向传播方法，计算并存储各个层的梯度值。

使用小批量数据执行一次前向传播和反向传播。使用梯度下降更新权重。

使用测试数据计算损失和准确性。

循环训练模型，每个epoch都对训练数据进行多次迭代。并且打印每个batch的损失和准确性。最后，在测试集上评估模型的性能。

2.对模型进行优化、改进

运行初始代码

序号	学习率	神经元个数	训练轮数
1	1e-5	100	50

再次运行

发现运行相同的代码，但是每次实验结果并不相同，经过查相关资料，发现是因为没有设置固定的随机种子，每次初始的条件不一致。于是考虑设置随机数种子，一方面是为了在得到比较好的结果时可以复现这个结果，另一方面，每次随机的初始权重一样，有利于实验的比较和改进。

设置完随机种子后再次训练发现同一情况下准确率相同

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	100	50	9.5599	0.5951

深度学习的优化过程是一个反复迭代的过程，需要不断地调整超参数和算法以达到最优的效果。

选择先调整学习率：

学习率是控制每次参数更新的步长大小的超参数。学习率越大, 输出误差对参数的影响就越大, 参数更新的就越快, 但同时受到异常数据的影响也就越大, 很容易发散.合适的学习率能够使目标函数在合适的时间内收敛到局部最小值

学习率	训练轮数	Test loss	accuracy
1e-4	50	nan	0.098

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-6	100	50	20.3428	0.2211

综合比较之后，学习率为1e-5时的准确率最高，故选定学习率为1e-5.

接下来选择调整神经元个数

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	100	50	9.5599	0.5951

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	50	5.7203	0.7636

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	200	50	6.5324	0.7355

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	250	50	7.7025	0.6984

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	300	50	8.2460	0.6831

综合比较，最终神经元个数选为150

接下来调整训练轮次

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	100	4.9358	0.7974

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	150	3.5525	0.839

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	200	2.2190	0.8938

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	250	2.0297	0.9006

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	300	1.8736	0.9069

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	500	1.6171	0.9129

最终，选定训练轮数为500

此时，准确率并不是很理想，考虑将神经网络层数加1，但结果并不理想

通过搜查相关资料，可以采用小批量训练的方法，进而提高准确率.具体方法为：将训练数据划分为小批量，而不是整个数据集一次性输入，可以提高内存和计算效率，并提高训练的稳定性。这使得模型能够更好地处理大规模数据集，并加快模型的训练速度。

但使用小批量训练后

训练出现过拟合现象，该方法也不可取

四、实验结果

最终采取以下的参数进行实验，是本次实验得出的最好的模型

学习率	神经元个数	训练轮数
1e-5	150	500

去掉随机数种子的约束，进行三次实验，取三次实验准确率进行求取平均值

最终结果为：

学习率	神经元个数	训练轮数	Test loss	accuracy
1e-5	150	500	1.3570	0.9233