- 博客(12)
- 收藏
- 关注
RSS订阅原创 【23-24 秋学期】NNDL 作业13 优化算法3D可视化
编程实现优化算法，并3D可视化优化算法在作业12中已经有了具体的代码，本次主要注重与3D可视化实现。
2023-12-31 12:09:34
379
1
原创 【23-24 秋学期】NNDL 作业12 优化算法2D可视化
1.SGD:SGD（Stochastic Gradient Descent）：随机梯度下降，是最基本的优化算法之一。它通过计算损失函数的梯度来更新模型参数，每次更新只考虑一个样本或一小批量样本，优势在此，劣势也在此，优势在于训练过程可以加快，但是同样带来的可能使收敛到局部最优解。Momentum：动量法是在SGD基础上的改进，它通过引入动量项来加速收敛。动量项可以看作是模拟物理中的惯性，即在更新时加上一部分之前更新的方向和大小，从而使更新更加稳定。
2023-12-23 16:49:36
957
1
原创 【23-24 秋学期】NNDL 作业11 LSTM
在学习他人的例子中，我感觉到我的numpy的代码似乎也有一点问题，缺少某一些步骤，但是我也还没发现具体是哪里出了问题，因为他们的那些加入了和rnn以及rnncell中的tanh函数就得出了正确的结论，但是我的加上还是出了问题，所以还是有很大的问题的。对于以上两题，我没有很好的思路，在参考了其他同学写的代码之后，感觉貌似也没有完全实现本体中所要求的效果，究其原因是因为本题中的例子中的，主要参考的是同学的例子，这里就不列出来了。比较简单，容易理解，但是这个int()不能随便用，因为这个他不会四舍五入。
2023-12-18 23:10:13
424
原创 【23-24 秋学期】NNDL 作业10 BPTT
本次作业，深入认识了BPTT以及其推导方式，其中不乏一些难以理解的公式，但是通过搜寻资料以及对课件的反复观看，终于还是有点眉目了，要将其视为一个时间序列，这样就比较好理解了，而且在理解了这个之后，梯度爆炸推出来的那个公式也会更好理解为什么会产生γ这样一个式子。不要遇到一些难以认识或者理解的符号就退缩，首先搞清楚他们代表的是什么，理解之后会清晰很多，而且要对输入的形式有一个理解，例如说输入是什么形式的矩阵，再网络中又会有各种各样的矩阵。1、通过正则化来约束γ的取值范围，让γ不大于1，最好是再1的周围。
2023-12-10 15:03:55
429
1
原创 【23-24 秋学期】NNDL 作业9 RNN - SRN
nn.RNN是整体的网络而RNNCell是其中需要循环的神经元，cell也就是这个意思。具体的参数在以上内容均有解释，但是主要说的还是nn.RNN中的num_layers这个参数用来控制循环单元的层数。总的来说，最值得庆幸的是我的电脑可以用GPU，虽然运行的不是很快，但是起码可以得到结果，调试的话就是等的之间长而已。至于循环神经网络的内容，还需要深入学习，只能说是理解了个大概，但是其中用到的各种函数等等还是有的地方理解不到位，以及那个数据是维度是多少什么的，还是理解得不够好。
2023-12-06 23:19:08
894
1
原创 【23-24 秋学期】NNDL 作业8 卷积 导数 反向传播
当我们需要裁剪模型时，由于卷积核的尺寸通常已经很小，而网络的深度又与模型的能力紧密相关，不宜过多削减，因此模型裁剪通常最先下手的地方就是通道数。空洞卷积是对输入的图进行操作的，就是在卷积时，不是严格的按照每一部分扫过，而是扩大这一部分，然后空出几个其中的值，不对其进行操作，这样的话可以增大感受野。按照ppt的思路，我们可以初步设定图像X(M*N),卷积核(U*V)，进行款卷积时，需要对X和W都进行零填充，按照公式更改后具体的值为。考虑卷积核的话，就相当于扩大了卷积核，扩大的数量为K+(K-1)(D-1)
2023-11-28 19:50:27
1000
原创 【23-24 秋学期】NNDL 作业6 卷积
就本次实验接触到的各种卷积核，我发现他们的都是各式各样的对称，就拿4题中这些，越简单的，对称的越简单，越复杂的，对称的越复杂。我甚至感觉自己挑一挑这些参数就可能可以让他更锐化或者更模糊，但是我没有实践。不过这个确实模糊和锐化的效果差别不是很明显。每个卷积核的名字基本上就是它的作用，所以我觉得没有必要展开说了，并且更深度的我也不能解释了。这些卷积核大概都是计算出来的吧，通过数学方面的知识，越来越感觉到老师说的对于数学的学习很重要这句话的含金量了。
2023-11-04 14:37:48
64
1
原创 【23-24 秋学期】NNDL 作业3
即在更新W时，可以令比较大的W值减去2λW，以此可以防止过拟合，得到一个较好的W参数，同时也可以防止W过大造成数据上的溢出。生动的来讲就是惩罚过大的参数项。这些所有类别里，只有一个1，其他的均为0，也就是说很多都是冗余的。所以我们可以减去一个相同的向量，来缩小，解空间，防止过拟合。正则化项的作用是防止过拟合，即在损失函数上增加一些限制，来达到缩小解空间，来预防求出过拟合的解。在Softmax回归的风险函数(公式(3.39))中，如果加上正则化项会有什么影响?在对整个风险函数求关于W的梯度，可得到新的一项。
2023-10-07 16:57:10
111
1
原创 【23-24 秋学期】NNDL 作业2
交叉熵损失函数中，y为离散的标签，没有实际意义，所以对于回归这种y为连续值并且有实际含义的问题，没有很好的效果。平方损失函数，需要y为实数值的问题，对于分类问题，y通常为代表某一个类的数值，而并没有实际意义。分别计算模型的精确率、召回率，F1值以及他们的宏平均和微平均。对于一个三分类问题，数据集的真实标签和模型的预测标签如下。
2023-09-24 17:43:52
81
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人