- 博客(11)
- 收藏
- 关注
RSS订阅原创 【23-24 秋学期】NNDL 作业12 优化算法2D可视化
随着时间的推移，根据之前较大的更新变动进行调整，减小了更新的步伐，导致y轴方向上的更新程度衰减，形成稳定的收敛路径。RMSprop算法的轨迹形成原因是相对于AdaGrad算法，RMSprop的轨迹图更加平缓和稳定，更有效地收敛到损失函数的最小值。然而，由于该算法逐渐遗忘过去的梯度，只受近期梯度的影响，在初始阶段会收敛得更快，变动幅度较大。Adam算法的轨迹形成原因是由于结合了动量法和RMSprop算法，不仅可以自适应地调整学习率，收敛速度快，而且参数更新更加平稳。分析各个算法的优缺点。
2023-12-24 23:23:24
850
1
原创 【23-24 秋学期】NNDL 作业11 LSTM
在LSTM中，遗忘门（f_t）负责控制上一时刻的信息有多少应该保留到当前时刻，而输入门（i_t）和输出门（o_t）则负责控制当前时刻的新信息的流入和记忆单元的状态如何影响输出。在普通的RNN中，随着时间的推移，信息的“足迹”会逐渐消失，导致难以捕捉到早期的信息。其中，W_xi, W_hi, W_xc, W_hc, b_i, b_c 是参数，i_t, f_t, g_t, c_t, o_t, h_t 是中间变量。首先，我们假设LSTM的损失函数为L，那么参数的梯度可以通过对损失函数求偏导数得到。
2023-12-18 18:05:42
375
原创 【23-24 秋学期】NNDL 作业10 BPTT
在上面的示例图中，神经网络的模块A，正在读取某个输入xi ，并输出一个值 hi。RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。gate是由一个sigmoid单元和一个逐点乘积操作组成，sigmoid单元输出1或0，用来判断通过还是阻止，然后训练这些gate的组合。根据提供的输出结果，我们可以看到使用Numpy和PyTorch实现的反向传播算子得到了相同的结果。
2023-12-08 23:04:02
345
原创 【23-24 秋学期】NNDL 作业9 RNN - SRN
nn.RNN则像是一个RNN网络的“总指挥”，它可以接收整个序列的输入，并且在内部使用多个RNNCell来实现RNN的计算。相对于nn.RNNCell，nn.RNN提供了更加高级的接口，可以方便地构建出整个RNN网络，使得我们不需要手动连接RNN单元，简化了编程的难度。它的核心思想是将一个输入序列映射到一个固定长度的向量表示，然后再将这个向量表示映射到一个输出序列。另外，代码段1在定义线性层时，手动设置了权重和偏置的数值，而代码段2没有显示地设置权重和偏置的数值，而是依赖于PyTorch的默认初始化。
2023-12-04 11:17:43
868
原创 【23-24 秋学期】NNDL 作业8 卷积 导数 反向传播
具体操作包括：使用卷积核对输入图像进行卷积操作，加上偏置项，然后通过ReLU激活函数进行激活，最后使用最大池化操作来降低特征图的尺寸。通过计算得到的P值，可以确定需要在输入特征图的周围填充多少个零值，以便在应用空洞卷积时，输出特征图的宽度与输入特征图的宽度保持一致，从而实现等宽卷积。一个1 × 1卷积核， 先得到100 × 100 × 64的特征映射， 再进行3 × 3的卷积， 得到。习题5-4 对于一个输入为100 × 100 × 256的特征映射组， 使用3 × 3的卷积核， 输。
2023-11-19 21:17:50
81
原创 【23-24 秋学期】NNDL 作业7 基于CNN的XO识别
然而，正如我们在所讨论的，每一层有多个输出通道是至关重要的。中级特征： 中级特征是在低级特征的基础上进行组合和抽象得到的特征表示，它通常涉及到更大范围的像素区域，具有一定的不变性和抽象性。为了能够达到这个目的，我们可以让图片的不同位置具有相同的权重（权值共享），也就是上面所有的图片，我们只需要在训练集中放一张，我们的神经网络就可以识别出上面所有的，这也是。经元时，不需要同时输入全局信息给单个神经元，只需要感知图像的局部信息，随着层数的增加深层的神经元会拥有广阔的感受野，使得模型能准确表征图像的全局信息。
2023-11-13 20:07:12
50
2
原创 NNDL 作业3
当有多个隐含层的时候，这样的BP神经网络属于深度学习的神经网络。反向传播是指将输出的结果与理想的输出结果进行比较，将输出结果与理想输出结果之间的误差利用网络进行反向传播的过程，本质是一个“负反馈”的过程。正向传播就是指数据（或信息、信号）从输入端输入之后，沿着网络的指向，乘以对应的权重之后再加和，在将结果作为输入在激活函数中进行计算，将计算的结果作为输入传递给下一个节点。总结起来，两个程序的实现思路是相似的，都是通过前向传播计算输出，然后根据损失函数计算梯度，最后根据梯度和学习率更新权重。
2023-10-16 08:00:00
40
1
原创 NNDL作业3
在 Softmax 回归的风险函数中加上正则化项可以控制模型的复杂度，避免过拟合的问题。具体来说，加上 正则化项后，最小化带有正则化项的风险函数等价于最小化原始风险函数加上一个规则化项。这个规则化项惩罚了模型的权重过大，从而使模型更倾向于选择一些更简单的解决方案。在加入正则化项后，最小化风险函数的过程中，除了要尽量减小分类误差，还要尽量让模型的权重最小化，防止过拟合。同时，加入正则化项也会使得模型对数据的噪声更加鲁棒，提高了模型的泛化能力。，使得参数不会过大，不会造成溢出之类的错误，同时也防止过拟合。
2023-10-07 21:39:09
54
1
原创 NNDL作业2
优化困难：对于分类问题而言，模型的输出通常是一个概率分布，表示每个类别的概率。可以看到，由于平方损失函数对异常值敏感，在这个例子中，预测值与真实值之间的差异被平方，导致较大的损失。但实际上，该模型的预测结果是正确的（预测为是），只是损失函数不适合用于衡量分类问题的性能。可以看到，在这个回归问题中，使用交叉熵损失函数是不合适的，因为它要求预测值在0到1之间，并且必须是一个概率分布。对于回归问题，目标是对连续数值进行预测，而交叉熵损失函数主要用于衡量分类结果的差异，并不适合用于衡量连续数值之间的差异。
2023-09-24 17:00:22
48
1
原创 NNDL作业1
深度学习（Deep Learning）是一种基于人工神经网络的机器学习技术，通过多层神经元之间的交互和学习，实现对数据的高效处理和分析。它是模拟人类神经系统的结构和功能，通过多个层次的非线性变换，自动抽象和表示数据的特征和规律。特征工程是指在机器学习和数据挖掘任务中，对原始数据进行转换、提取和选择，以生成更具信息量和表达能力的特征集合的过程。表示学习（Representation Learning）是一种机器学习方法，旨在发现和学习数据的有用特征表示。
2023-09-20 20:10:27
69
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人