神经网络(Pytorch)
文章平均质量分 75
苏子徽的研学之路
这个作者很懒,什么都没留下…
展开
-
Deep Learn(三)——优化器Adam的进阶学习
所以众多学者就着重于改进二者的性能,于是就诞生了AMS Grad和Ada Bound,但其在设计过程中存在人为经验设定的参数,毕竟我们设计优化器的目的是使其自适应改变,通过经验对部分参数设定的掺杂,可能违背了自适应这一原理。既然改进性能无从下手,那就将Adam和SGDM进行融合,将Adam的快速训练性能和SGDM的收敛稳定性能结合,创造出一种理论上“完美”的优化器。,经过多方论文验证,从自适应能力和优化性能方面来看,依旧是Adam和SGDM更胜一筹。SGDM优化器更加稳定,收敛好,但运行速度较慢。原创 2024-08-21 00:32:40 · 190 阅读 · 0 评论 -
Deep Learn(二)——Batch Size、优化器、学习率和损失函数学习总结
从速度上说:大的Batch Size会使得参数更新速度很慢,小的Batch Size会使得参数更新速度很快;但在并行处理下,参数更新速度旗鼓相当。从每一个epoch时间来说:大的Batch Size由于其参数更新不频繁,其运行时间较短一些;相反,小的Batch Size由于其参数更新频繁,运行时间较长。从梯度角度来讲:小的Batch Size会出现更多的噪声,而大的Batch Size则会更加稳定些。从优化角度讲:小的Batch Size能够避免局部最小陷阱,动态调整学习率,并加快收敛速度。从泛化角度讲:小原创 2024-08-20 16:21:48 · 814 阅读 · 0 评论 -
Deep Learn(一)——HW1作业实践
主要定义三个函数:__init__, __getitem__, __len__。# 读取csv文件f.close()# feats用于选择特征,默认是利用93个特征去训练else:pass# 如果是test,由于数据集特殊原因只return self.data;反之利用random_split分割train和validelse:else:# 归一化处理操作,加速模型收敛速度# 利用item对dataset取索引,是重写函数else:# 返回数据集的尺寸'''原创 2024-08-18 19:46:40 · 320 阅读 · 0 评论