神经网络与深度学习
文章平均质量分 93
HBU_fangerfang
这个作者很懒,什么都没留下…
展开
-
NNDL 作业12:第七章课后题
参考链接:权值衰减和 L2 正则化傻傻分不清楚?原创 2022-12-12 22:00:46 · 334 阅读 · 1 评论 -
NNDL 实验八 网络优化与正则化(3)不同优化算法比较
这次主要写了一些优化算法的比较,当学习率在迭代早期降得较快且当前解依然不佳时,AdaGrad算法在迭代后期由于学习率过小,可能较难找到一个有用的解。RMSProp算法对AdaGrad算法做了一些改进,并且结合了momentum中指数加权移动平均的思想。AdaDelta算法跟RMSProp算法的不同之处在于使用来替代学习率η . Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均。优化算法。原创 2022-12-10 19:25:26 · 285 阅读 · 0 评论 -
NNDL 作业11:优化算法比较
最底下是弧线,所以有全局最小值 底部弧度很小,下降方向基本沿着y轴,很多地方没有指向(0,0) 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征,有时我们可能想更新快一些对于不经常出现的特征,对于常出现的特征更新慢一些,这时候SGD就不太能满足要求了SGD容易收敛到局部最优,并且在某些情况下可能被困在鞍点SGD方法的一个缺点是,其更新方向完全依赖于当前的batch,因而其更新十分不稳定。解决这一问题的一个简单的做法便是引入m原创 2022-12-05 22:11:58 · 152 阅读 · 0 评论 -
NNDL 实验七 循环神经网络(3)LSTM的记忆能力实验
使用LSTM模型重新进行数字求和实验,验证LSTM模型的长程依赖能力。使用第6.1.2.4节中定义Model_RNN4SeqClass模型,并构建 LSTM 算子.只需要实例化 LSTM ,并传入Model_RNN4SeqClass模型,就可以用 LSTM 进行数字求和实验。得到以下结果: 这里我们可以将自己实现的SRN和Paddle框架内置的SRN返回的结果进行打印展示,实现代码如下得到以下结果:可以看到,自己实现的LSTM由于没有考虑多层因素,因此没有层次这个维度,因此其输原创 2022-12-03 22:11:20 · 456 阅读 · 0 评论 -
NNDL 作业10:第六章课后题(LSTM | GRU)
这次的作业主要写的就是LSTM和GRU网络,我感觉这两个网络差不太多,其实也是,都是为了解决RNN的长程依赖问题,在上面的作业里对GRU和LSTM也进行了推导和比较,推导的过程还是有些难度,很多式子要看好久才能明白,这次的实验也借鉴了很多别人的文章,在接下来的几次实验中要更加注意。Wx_k+bWx_k+原创 2022-11-28 22:44:26 · 216 阅读 · 0 评论 -
NNDL 作业9:分别使用numpy和pytorch实现BPTT
NNDL 作业9:分别使用numpy和pytorch实现BPTT原创 2022-11-22 21:40:11 · 421 阅读 · 0 评论 -
NNDL 实验七 循环神经网络(1)RNN记忆能力实验
NNDL 实验七 循环神经网络(1)RNN记忆能力实验原创 2022-11-20 12:23:58 · 411 阅读 · 0 评论 -
NNDL 作业8:RNN - 简单循环网络
NNDL 作业8:RNN - 简单循环网络原创 2022-11-13 22:34:46 · 272 阅读 · 0 评论 -
NNDL 实验六 卷积神经网络(5)使用预训练resnet18实现CIFAR-10分类
NNDL 实验六 卷积神经网络(5)使用预训练resnet18实现CIFAR-10分类原创 2022-11-12 20:44:36 · 789 阅读 · 0 评论 -
NNDL 实验六 卷积神经网络(4)ResNet18实现MNIST
NNDL 实验六 卷积神经网络(4)ResNet18实现MNIST原创 2022-11-05 22:27:46 · 536 阅读 · 0 评论 -
NNDL 实验六 卷积神经网络(3)LeNet实现MNIST
NNDL 实验六 卷积神经网络(3)LeNet实现MNIST原创 2022-11-02 20:43:39 · 665 阅读 · 0 评论 -
NNDL 作业7:第五章课后题(1×1 卷积核 | CNN BP)
NNDL 作业7:第五章课后题(1×1 卷积核 | CNN BP)原创 2022-10-27 19:07:36 · 1453 阅读 · 0 评论 -
NNDL 作业6:基于CNN的XO识别
NNDL 作业6:基于CNN的XO识别原创 2022-10-23 00:28:21 · 190 阅读 · 0 评论 -
NNDL 实验六 卷积神经网络(1)卷积
NNDL 实验六(1)原创 2022-10-20 18:18:20 · 966 阅读 · 0 评论 -
NNDL 作业5:卷积
NNDL 作业5:卷积原创 2022-10-16 16:25:18 · 433 阅读 · 0 评论 -
NNDL 实验五 前馈神经网络(3)鸢尾花分类
这个明显比学习率是0.2的时候差太多了,不可取。再把学习率lr=0.3得到以下结果:结果更差了,这说明4个神经元不如6个神经元,那我们再把神经元改成8个lr=0.2:这个效果也不好,再改成lr=0.5发现效果不如lr=0.7了,经过多次测试后,找到了结果,在8个神经元lr=0.7的时候达到了最好的结果这次的实验是用前馈神经网络对iris进行分类,而在做这次实验之前,已经做过了SVM和softmax对iris的分类,所以正好可以很方便的对这三种方法对iris分类进行对比。原创 2022-10-14 00:42:10 · 999 阅读 · 0 评论 -
NNDL 作业4:第四章课后题
这次的作业有三个是上次做过的,但是毕竟上次的实验是整体的,并没有太过于深究这些问题,这次的作业中根据上次实验的基础增加了一些新的内容,这样可以对这些问题理解更深彻。关于这次作业最让我不懂的就是习题4-2,有没有一种方法可以让正确率达到100%呢?而这次作业最大的收获就是反向传播算法中参数的设置问题,虽然上次实验中已经得到权值和偏置不能全为0的结论,并且上手实验,但是这次的作业补充了理论知识,原创 2022-10-08 19:41:18 · 783 阅读 · 3 评论 -
NNDL 实验五 前馈神经网络(2)自动梯度计算 & 优化问题
NNDL 实验五 前馈神经网络(2)自动梯度计算 & 优化问题原创 2022-10-06 20:59:20 · 975 阅读 · 0 评论 -
NNDL 作业3:分别使用numpy和pytorch实现FNN例题
return aprint("正向计算:o1 ,o2")print("损失函数:均方误差")# 反向传播print("反向传播:误差传给每个权值")# 步长step = 5print("=====输入值:x1, x2;真实输出值:y1, y2=====")print("=====更新前的权值=====")print("=====第" + str(i) + "轮=====")print("更新后的权值")print("=====输入值:x1, x2;原创 2022-10-02 20:42:46 · 372 阅读 · 0 评论 -
NNDL 实验五 前馈神经网络(1)二分类任务
NNDL 实验五 前馈神经网络(1)二分类任务原创 2022-09-28 17:43:09 · 601 阅读 · 0 评论 -
NNDL 作业2:第三章课后题
NNDL 作业2:第三章课后题原创 2022-09-23 22:29:26 · 616 阅读 · 0 评论 -
NNDL 实验四 线性分类
NNDL 实验四 线性分类原创 2022-09-21 21:46:43 · 442 阅读 · 0 评论 -
NNDL 作业1:第二章课后题
NNDL 作业1:第二章课后题原创 2022-09-18 17:57:23 · 343 阅读 · 0 评论 -
NNDL 实验三 线性回归
NNDL 实验三 线性回归原创 2022-09-16 14:29:49 · 390 阅读 · 0 评论 -
NNDL 实验二 pytorch入门
NNDL 实验二 pytorch入门原创 2022-09-09 17:22:24 · 350 阅读 · 0 评论 -
NNDL 实验一 numpy
NNDL 实验一 numpy原创 2022-09-02 21:24:30 · 871 阅读 · 2 评论