![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Datawhale AI夏令营NLP方向
文章平均质量分 63
Datawhale AI夏令营NLP方向笔记
Po1ariz
这个作者很懒,什么都没留下…
展开
-
Datawhale AI夏令营基于术语词典干预的机器翻译挑战比赛-task2(模型优化笔记)
梯度累计(Gradient Accumulation)是一种在深度学习训练过程中有效利用内存和计算资源的技术。它通过在多个小批次(micro-batches)上累积梯度,并在特定步数后进行一次参数更新,从而实现大批次训练的效果。这对于显存有限的硬件设备尤为重要。混合精度训练(Mixed Precision Training)是一种利用半精度(16位浮点数,FP16)和单精度(32位浮点数,FP32)结合进行神经网络训练的技术。这种方法能够显著提高训练速度和减少显存占用,同时还能保持模型的精度和稳定性。原创 2024-07-17 21:23:40 · 463 阅读 · 0 评论 -
Datawhale AI夏令营基于术语词典干预的机器翻译挑战比赛-task1
通过阅读文档对模型有了一个初步的认识,但是对代码里详细语句和变量的作用还是很迷,对数据处理的具体流程有了一个大致的了解,其中流程中的“数据清洗”并没有在代码中得到实现,在task2的完成过程中可能会针对这个做一些优化。对于其他部分的代码只能说还停留在一个“大概知道什么用”的情况,后续估计还得把torch的函数解析单拎出来看,至于流程上的优化暂时还不考虑。虽然有一定的代码和项目基础,但是对模型训练这方面的接触较少,今天总结一下这两天测试下来的经验和想法。原创 2024-07-15 14:22:31 · 364 阅读 · 0 评论