m0_63172447的博客

L_%7B2%7D。

通过本次实验，对于AdaGrad算法和RMSprop算法有了更深的了解，对梯度估计修正的两种方法动量法和Adam算法学习更加深入。

目录1. 编程实现图6-1，并观察特征 2. 观察梯度方向 3. 编写代码实现算法，并可视化轨迹 4. 分析上图，说明原理（1）为什么SGD会走“之字形”？其它算法为什么会比较平滑？（2）Momentum、AdaGrad对SGD的改进体现在哪里？速度？方向？在图上有哪些体现？（3）仅从轨迹来看，Adam似乎不如AdaGrad效果好，是这样么？5. 总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）6. Adam这么好，SGD是不是就用不到了？（选做） 总结 特征 上式表示的

长短期记忆网络（Long Short-Term Memory Network，LSTM）是一种可以有效缓解长程依赖问题的循环神经网络．LSTM 的特点是引入了一个新的内部状态（Internal State）和门控机制（Gating Mechanism）．不同时刻的内部状态以近似线性的方式进行传递，从而缓解梯度消失或梯度爆炸问题．同时门控机制进行信息筛选，可以有效地增加记忆能力．例如，输入门可以让网络忽略无关紧要的输入信息，遗忘门可以使得网络保留有用的历史信息．在上一节的数字求和任务中，如果模型能够记住前两个

本次作业通过推导对 LSTM 、GRU有了进一步的了解，GRU参数更少，收敛更快；数据量很大时，LSTM效果会更好一些，因为LSTM参数也比GRU参数多一些。

范数，是具有“距离”概念的函数。我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。L2范数是我们最常见最常用的范数了，我们用的最多的度量距离欧氏距离就是一种L2范数，它的定义如下：表示向量元素的平方和再开平方。L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

6-2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.

本次实验对循环神经网络有了进一步的了解，并且对它的记忆能力进行了实验，明白了和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构原因h_%7Bt%7Dx_%7Bt%7Dt%20b%29h_%7Bt%7DMBLSBLMtb%29DMb_%7Bx%7Db_%7Bo%7D。

这次实验更了解RNN循环神经网络，和RNN的时序功能 ，并且使用numpy实现SRN进行了实践。

预训练的简单概括就是使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而让模型对特定任务的学习负担变轻。预训练方式表现在模型参数上，就是我之前已经拿到一个任务，这个任务和其他任务有很多相同之处，于是提前训练好了所有的模型参数（预训练）。因此我们不再需要从0开始训练所有参数了，但是针对我们目前这个任务，有些参数可能不合适，我们只需要在当前参数的基础上稍加修改（微调）就可以得到比较好的效果，这样学习时间必然会大大减小。

本次是实验通过ResNet经典残差网络完成了Mnist手写数字的识别，学到了很多知识，对残差网络的结构，模型训练有更多的认识，希望能学到更多。

本次实验学到了很多新的知识 ，尤其是基于LeNet实现手写体数字识别，对数字识别有了更加清晰的认识，希望再接下来是的实验中学到更多相关内容。

以GoogLeNet的3a模块为例，输入的feature map是28×28×192，3a模块中1×1卷积通道为64，3×3卷积通道为128,5×5卷积通道为32，如果是左图结构，那么卷积核参数为1×1×192×64+3×3×192×128+5×5×192×32，而右图对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，这样卷积核参数就变成了1×1×192×64+（1×1×192×96+3×3×96×128）+（1×1×192×16+5×5×16×32），参数大约减少到原来的三分之一。

本次实验对神经网络基础算子的学习，让我对多通道卷积算子和汇聚层算子实现有了更深刻地理解，希望通过更多的实验不断提高自己。%201%201。

从X、O文件夹，分别取出150张作为测试集，文件夹train_data：放置训练集 1600张图片，文件夹test_data： 放置测试集 400张图片。下载的数据集没有分测试集和训练集，共2000张图片，X、O各1000张。调用框架自带算子实现，对比自定义算子。自定义卷积算子、池化算子实现。可视化卷积核和特征图。

本次实验对卷积神经网络进行了复习和扩展，对卷积的操作有了更加清晰的认识，卷积对特征图的影响更明了。I%28i+

当stride=20时：由图可知，当增加步长时，图像的会变得模糊。原图模糊边缘检测通过本次实验回顾了卷积、卷积核、特征图、特征选择、步长、填充、感受野的概念，conv2d函数的使用，深入探究了不同卷积核的作用，并且编程实现了灰度图的边缘检测，锐化，模糊等，并且对图像卷积步长改变不同得出结果不同，有了更加深刻地体会。

加载数据集#加载原始数据#数据归一化#如果shuffle为True，随机打乱数据X = X_newy = y_new# 调用第三章中的数据读取函数，其中不需要将标签转成one-hot类型else:通过这次实验对前馈神经网络有了更清晰的认识，并且对于paddle，pytorch之间的区别有了更多的了解，对模型的构建和优化更加熟悉。

根据w 的误差的影响，再乘以步长，就可以更新整个神经网络的权重。更新一轮之后，接着输入下一个样本，算出误差后又可以更新一轮，再输入一个样本，又来更新一轮，通过不断地输入新的样本迭代地更新模型参数，就可以缩小计算值与真实值之间的误差，最终完成神经网络的训练。当直接令w =0，b=0时，会让下一层神经网络中所有神经元进行着相同的计算，具有同样的梯度，同样权重更新。由于ReLU神经元的输出为0，在后续迭代的反向过程中，该处的梯度一直为0，相关参数不再变化，从而导致ReLU神经元的输入始终是负数，输出始终为0。

1. 使用pytorch的预定义算子来重新实现二分类任务。（必做）# 使用'paddle.nn.Linear'定义线性层。# 其中第一个参数（in_features）为线性层输入维度；第二个参数（out_features）为线性层输出维度# weight_attr为权重参数属性，这里使用'paddle.nn.initializer.Normal'进行随机高斯分布初始化# bias_attr为偏置参数属性，这里使用'paddle.nn.initializer.Constant'进行常量初始化。