- 博客(28)
- 收藏
- 关注
RSS订阅原创 NNDL 作业12：第七章课后题
L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。要使得参数最优，则α/K为最优的时候的常数，故学习率要和批量大小成正比。因此可以发现此时梯度消失，因此需要进行偏差修正。
2022-12-11 21:08:39
143
1
原创 NNDL 实验八 网络优化与正则化（3）不同优化算法比较
这次实验，对于AdaGrad算法和RMSprop算法有了更深了解，对梯度估计修正的两种方法动量法和Adam算法进行了学习，对实验效果的不同有了更深体会。
2022-12-11 18:03:04
154
原创 NNDL 作业11：优化算法比较
1. 编程实现图6-1，并观察特征实验结果：特征：有全局最小值、是一个向x轴方向延申的“碗”状函数，等高线呈向x轴方向延申的椭圆状。** 2. 观察梯度方向**特征：Y轴方向梯度大，X轴方向梯度小；很多位置的梯度并没有指向最小位置(0,0)。3. 编写代码实现算法，并可视化轨迹实验结果：4. 分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？因为图像的变化并不均匀，所以y方向变化很大时，x方向变化很小，只能迂回往复地寻找，效率很低。其他算法在下降
2022-12-05 14:14:21
119
原创 NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验
长短期记忆网络（Long Short-Term Memory Network，LSTM）是一种可以有效缓解长程依赖问题的循环神经网络．LSTM 的特点是引入了一个新的内部状态（Internal State）c∈RD 和门控机制（Gating Mechanism）．不同时刻的内部状态以近似线性的方式进行传递，从而缓解梯度消失或梯度爆炸问题．同时门控机制进行信息筛选，可以有效地增加记忆能力．例如，输入门可以让网络忽略无关紧要的输入信息，遗忘门可以使得网络保留有用的历史信息．在上一节的数字求和任务中，如果模型能够
2022-12-04 17:31:03
205
原创 NNDL 实验七 循环神经网络（2）梯度爆炸实验
范数，是具有“距离”概念的函数。我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样。
2022-11-26 22:59:55
55
原创 NNDL 实验七 循环神经网络（1）RNN记忆能力实验
循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络．在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构．目前，循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上．简单循环网络在参数学习时存在长程依赖问题，很难建模长时间间隔（Long Range）的状态之间的依赖关系。
2022-11-21 21:06:30
354
原创 NNDL 作业8：RNN - 简单循环网络
简单循环网络 （ Simple Recurrent Network ， SRN） 只有一个隐藏层的神经网络实验结果：2. 在1的基础上，增加激活函数tanh实验结果：3. 分别使用nn.RNNCell、nn.RNN实现SRNnn.RNNCell：实验结果：nn.RNN：实验结果：4. 分析“二进制加法” 源代码（选做）实验结果：5. 实现“Character-Level Language Models”源代码（必做）实验结果：翻译Character-Level Langua
2022-11-13 18:49:12
363
原创 NNDL 实验六 卷积神经网络（5）使用预训练resnet18实现CIFAR-10分类
CIFAR-10数据集包含了10种不同的类别、共60,000张图像，其中每个类别的图像都是6000张，图像大小均为32×3232×32像素。CIFAR-10数据集的示例如图所示。数据集：CIFAR-10数据集，网络：ResNet18模型，损失函数：交叉熵损失，优化器：Adam优化器，Adam优化器的介绍参考NNDL第7.2.4.3节。评价指标：准确率。
2022-11-11 23:04:16
919
原创 NNDL 实验六 卷积神经网络（4）ResNet18实现MNIST
残差单元包裹的非线性层的输入和输出形状大小应该一致。1×1卷积：与标准卷积完全一样，唯一的特殊点在于卷积核的尺寸是1×1，也就是不去考虑输入数据局部信息之间的关系，而把关注点放在不同通道间。这次实验，学习了ResNet经典残差网络完成了Mnist手写数字的识别，比较了有无残差连接的ResNet18，看到了有残差连接后，模型效果更好。第一模块：包含了一个步长为2，大小为7×7的卷积层，卷积层的输出通道数为64，卷积层的输出经过批量归一化、ReLU激活函数的处理后，接了一个步长为2的3×3的最大汇聚层；
2022-11-07 15:16:45
104
原创 NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）
假设输入图像的有m行,n列，卷积核的尺寸为filter_size×filter_size，输出图像的尺寸即为(m-filter_size+1)×(n-filter_size+1)卷积操作是每次取出卷积核中的一个，一个卷积核的格式为三维，为行×列×通道数。对应通道序号的图片与卷积核经过二维卷积操作后（即上图所示操作），得到该通道对应的卷积结果，将所有通道的结果相加，得到输出图像的一个通道。时间复杂度二：64×100×100×256 + 256×100×100×64×3×3 = 1,638,400,000。
2022-10-30 15:29:56
129
原创 NNDL 实验六 卷积神经网络（2）基础算子
但实际应用中，一幅大小为M×N的图片中的每个像素的特征表示不仅仅只有灰度值的标量，通常有多个特征，可以表示为D维的向量，比如RGB三个通道的特征向量。而在实际应用中，我们也希望每一个卷积层能够提取多种不同类型的特征，所以一个卷积层通常会组合多个不同的卷积核来提取特征，经过卷积运算后会输出多张特征图，不同的特征图对应不同类型的特征。汇聚层输出的计算尺寸与卷积层一致，对于一个输入矩阵X∈RM×N和一个运算区域大小为U×V的汇聚层，步长为S，对输入矩阵进行零填充，那么最终输出矩阵大小则为。
2022-10-24 20:04:12
73
原创 NNDL 作业6：基于CNN的XO识别
1.Nmupy版本：手工实现 卷积-池化-激活实验结果：2.Pytorch版本：调用函数实现 卷积-池化-激活实验结果：3. 可视化：了解数字与图像之间的关系实验结果：1. 数据集共2000张图片，X、O各1000张。从X、O文件夹，分别取出150张作为测试集。文件夹train_data：放置训练集 1700张图片，文件夹test_data： 放置测试集 300张图片2. 构建模型3. 训练模型实验结果：4. 测试训练好的模型实验结果：5. 计算模型的准确率
2022-10-23 16:13:49
103
原创 NNDL 实验六 卷积神经网络（1）卷积
卷积神经网络（Convolutional Neural Network，CNN）受生物学上感受野机制的启发而提出。一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络有三个结构上的特性：局部连接、权重共享、汇聚。具有一定程度上的平移、缩放和旋转不变性。和前馈神经网络相比，卷积神经网络的参数更少。主要应用在图像和视频分析的任务上，其准确率一般也远远超出了其他的神经网络模型。近年来卷积神经网络也广泛地应用到自然语言处理、推荐系统等领域。
2022-10-22 00:55:01
115
原创 NNDL 作业5：卷积
图3使用卷积核\begin{pmatrix} 1 & -1 \end{pmatrix}，\begin{pmatrix} 1\ -1\ \end{pmatrix}，\begin{pmatrix} 1 &-1 \ -1&1 \end{pmatrix} ，输出特征图。图1使用卷积核\begin{pmatrix} 1\ -1\ \end{pmatrix}，输出特征图。图2使用卷积核\begin{pmatrix} 1\ -1\ \end{pmatrix}，输出特征图。
2022-10-16 00:18:09
63
原创 NNDL 作业4：第四章课后题
4.2试设计一个前馈神经网络来解决XOR问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用ReLU作为激活函数．XOR问题描述：异或是对两个运算元的一种逻辑分析类型，当两两数值相同时为否，而数值不同时为真。XOR运算的网络结构图：代码：import torchimport torch.nn as nnimport torch.optim as optim # 异或门模块由两个全连接层构成class XORModule(nn.Module): def __init
2022-10-09 14:28:29
579
原创 NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题
在训练过程中，如果参数在一次不恰当的更新后，某个ReLU神经元在所有训练数据上都不能被激活（即输出为0），那么这个神经元自身参数的梯度永远都会是0，在以后的训练过程中永远都不能被激活。继承了paddle.nn.Layer类的算子中，可以在内部直接调用其它继承paddle.nn.Layer类的算子，飞桨框架会自动识别算子中内嵌的paddle.nn.Layer类算子，并自动计算它们的梯度，并在优化时更新它们的参数。当网络层数很深时，梯度就会不停衰减，甚至消失，使得整个网络很难训练，这就是所谓的梯度消失问题。
2022-10-07 14:47:26
405
原创 NNDL 作业3：分别使用numpy和pytorch实现FNN例题
从上述结果中可以看出当训练的轮数少的时候使用Sigmoid函数和使用Pytorch自带函数torch.sigmoid()并没有什么较明显的差距，当轮数多的时候，则出现一些差别，可以看出torch.sigmoid()的精度高一些。
2022-10-02 12:38:51
253
原创 NNDL作业2：第三章课后题
Softmax回归中使用的𝐶个权重向量是冗余的，即对所有的权重向量都减去一个同样的向量 𝒗，不改变其输出结果。因此，Softmax回归往往需要使用正则化来约束其参数。由于Sigmoid函数的横纵坐标趋于较大或较小时，函数值趋于平缓，因此大多数情况下几乎为0，w很难去优化。在此种情况下，对损失函数求导后，误差越大，权重更新越快。哦哦哦哦哦，是谁住在深海的大菠萝里，海绵宝宝！
2022-09-24 14:03:11
175
1
原创 深度学习实验二
NNDL 实验二 pytorch入门一. 概念：张量、算子1.张量：在深度学习框架中，数据经常用张量(Tensor)的形式来存储。张量是矩阵的扩展与延伸，可以认为是高阶的矩阵，是标量,向量,矩阵的高维拓展。2.算子：算子是构建复杂机器学习模型的基础组件，包含一个函数f(x)的前向函数和反向函数。二. 使用pytorch实现张量运算1.2 张量1.2.1 创建张量创建一个张量可以有多种方式，如：指定数据创建、指定形状创建、指定区间创建等。1.2.1.1 指定数据创建张量通过给定Python列
2022-09-10 19:34:50
1103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人