![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【LLM入门】
文章平均质量分 75
接深度学习联系丝信
这个作者很懒,什么都没留下…
展开
-
【LLM入门】Let‘s reproduce GPT-2 (124M)【完结,重新回顾一下,伟大!】
保存模型,不止 模型参数。原创 2024-08-18 14:11:52 · 76 阅读 · 0 评论 -
【LLM入门】Let‘s reproduce GPT-2 (124M) |Section3 训练和评估你的大模型【大模型训练技巧!!超参数,学习率,batchsize,梯度累计,DDP,评估】
from视频:https://www.youtube.com/watch?记住:每个进程知道的只有 ddp_rank,ddp_world_size, ddp_rank==0是主进程!gpu ddp全用上就是快,1.5 million tokens / sec。听Andrej Karpathy讲 优化过程,有点哲学!初始化:你必须考虑同时8个节点 运行这一段逻辑!468,654次观看 2024年6月10日。8个节点拥有的不同,只是ddp_rank。改变 dataloader。手写 学习率 改变函数。原创 2024-08-18 13:54:30 · 354 阅读 · 0 评论 -
【LLM入门】Let‘s reproduce GPT-2 (124M) | Section2 加快你的模型训练【混合精度训练,模型编译,flash attention,2的幂】
视频from:https://www.youtube.com/watch?gpu默认, 时间:1000ms【第一次比较慢,初始化一些】一行代码就可以加速/启用!【tf32,提升3倍!不同数据类型所能获得的计算量。每秒处理多少个token?原创 2024-08-17 03:09:52 · 223 阅读 · 0 评论 -
【LLM入门】Let‘s reproduce GPT-2 (124M) | 从零复现GPT2(Section 1) | Andrej Karpathy
使用hugging face 的transformer库,pytorch【学习代码,参考hugging face,非常多模型!用jupyter调试,然后再把code搬到py文件中!openai的gpt2 是 tensorflow写的。465,246次观看 2024年6月10日。forward 顺便返回 loss。随机初始化的 损失,原创 2024-08-16 17:50:41 · 637 阅读 · 0 评论