- 博客(8)
- 收藏
- 关注
RSS订阅原创 【23-24 秋学期】NNDL 作业13 优化算法3D可视化
但是因为历史梯度信息会出现物理上说的惯性现象，对于更新来有好有坏,能逃离局部最优点，但是会因为惯性，走了很多歪路，但是大大减少了SGD算法的反复z字抖动的情况，在二维空间中表现为，靠近局部最优点，点的轨迹分布较为集中，原理分布较为松散，通过对轨迹的描述，我们明确发现在局部最优点附近的，点的更新较小，速度慢，原理局部最优点的地方速度较快。通过这次实验，对于AdaGrad算法和RMSprop算法有了更深的了解，对梯度估计修正的两种方法动量法和Adam算法进行了学习，亲身体验了实验效果的不同。
2024-01-02 18:21:04
900
原创 【23-24 秋学期】NNDL 作业12 优化算法2D可视化
通过这次作业，让我对几种优化算法进行了比较，对SGD、Momentum、AdaGrad、Adam有了一定的了解，总结了它们的优缺点以及内在联系。尤其对SGD和Adam进行了深刻地学习。对参数更新优化算法有了一定了解，再加上上学期学的最优化方法，这次上课的内容就有了更加深刻的认识。【NNDL 作业】优化算法比较 增加 RMSprop、Nesterov_随着优化的进展,需要调整γ吗?rmsprop算法习题-CSDN博客【23-24 秋学期】NNDL 作业12 优化算法2D可视化-CSDN博客。
2023-12-24 15:35:50
977
1
原创 【23-24 秋学期】NNDL 作业11 LSTM
由于LSTM中通过门控机制解决梯度问题，遗忘门，输入门和输出门是非0就是1的，并且三者之间都是相加关系，梯度能够很好的在LSTM传递，减轻了梯度消失发生的概率， LSTM遗忘门值可以选择在[0,1]之间，让LSTM来改善梯度消失的情况。也可以选择接近1，让遗忘门饱和，此时远距离信息梯度不消失。也可以选择接近0，此时模型是故意阻断梯度流，遗忘之前信息。代码部分这次还是有点困难的，numpy的代码还能写出来一点，但是激活函数就没有多考虑，然后参考了室友大佬的代码看懂了。编程实现下图LSTM运行过程。
2023-12-18 14:57:25
393
1
原创 【23-24 秋学期】NNDL 作业10 BPTT
总结：RNN反向传播算法BPTT的推导，感觉和上学期BP神经网络有一定的联系，在上学期手推的基础上，又在课上听了一遍以后推导BPTT，所以这次推导就比较就简单。然后代码的实现参考了以前学长的代码进行了改变，写完后对简单RNN模型的理解也更加深入了。可以通过引入门控机制来控制信息的累积速度，包括有选择性地加入新的信息，并有选择地遗忘之前累积的信息，以此解决梯度爆炸的问题。时，梯度可能会过大，从而导致。
2023-12-11 17:12:57
62
1
原创 【23-24 秋学期】NNDL 作业9 RNN - SRN
nn.RNNCell和nn.RNN是PyTorch中用于构建循环神经网络（RNN）的类。nn.RNNCell是一个简单的RNN单元，可以看作是RNN的基本构建块。它接受当前输入、上一个隐藏状态和上一个输出作为输入，并输出当前隐藏状态和当前输出。它没有提供序列间连接，因此通常用于构建单层RNN。nn.RNN是一个多层的RNN实现，它将一系列nn.RNNCell连接在一起。它接受一个nn.RNNCell对象和一个输入维度作为参数，并返回一个输出维度。与nn.RNNCell不同，nn.RNN。
2023-12-03 14:52:33
76
1
原创 【23-24 秋学期】NNDL 作业8 卷积 导数 反向传播
参考老师ppt:1.时间复杂度：空间复杂度：100*100*256=2，560，0002.时间复杂度：空间复杂度：64*100*100+256*100*100=3，200，000从这一题可以看出，加入1*1的卷积核会大大减少计算量(时间复杂度)，但是从计算结果也可以看出空间复杂度变大了，有点空间换时间的意思。首先，将3 × 3的输入矩阵表示为一个9维的向量，然后将2 × 2的卷积核表示为一个4维的向量。
2023-11-27 18:23:31
115
1
原创 【23-24 秋学期】NNDL 作业7 基于CNN的XO识别
局部感知是指网络中的每个神经元只关注输入数据的一个局部区域，而不是整个数据。这种局部感知的方式使得网络可以更加专注于输入数据的局部特征，从而更好地理解和分类数据。权值共享是指在整个网络中，同一个卷积核的权值是相同的，即卷积操作使用的滤波器是共享的。这种权值共享的方式可以减少网络的参数数量，提高网络的泛化能力。池化（子采样、降采样、汇聚）是一种常见的深度学习技术，通常用于减少数据的维度和计算复杂度。通过池化操作，可以将输入数据的尺寸减小，从而减少网络的参数数量和计算量。
2023-11-13 23:55:20
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人