![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 91
灵哥讲AI
这个作者很懒,什么都没留下…
展开
-
灵哥教你玩转Llama3:手动加载并运行模型
手动加载并运行模型原创 2024-06-25 08:29:13 · 890 阅读 · 0 评论 -
灵哥教你玩转Llama3:解决NCCL缺失问题
解决Llama3运行时NCCL缺失问题原创 2024-06-21 00:14:32 · 359 阅读 · 0 评论 -
灵哥讲llama3(下)
在计算kv分数矩阵的时候,k中的每一头都重复4次, 这样k和q的头数是一样多的, 后面v中的每一头也重复4次, 然后和这个分数矩阵做矩阵乘法. 这样做的好处是减少了头的数量,从而减小了kv缓存的大小,以减轻带宽压力,从而实现更快的推理速度。self.n_local_heads = args.n_heads 和 self.n_local_kv_heads = self.n_kv_heads。wq, wk, wv 分别是把输入计算成 q, k, v用到的参数矩阵. 使用多GPU并行机制以加快运算.原创 2024-06-17 21:12:06 · 902 阅读 · 0 评论 -
灵哥讲llama3(中)
首先是model.py的Transformer类。原创 2024-06-15 20:34:16 · 527 阅读 · 0 评论 -
灵哥讲llama3(上)
本文章由浅入深的讲解llama3的工作原理, 大语言模型LLM的工作原理相差无几, 掌握了llama3, 触类旁通, 再去掌握其他的LLM模型就很简单。了解原理之后再去做训练和微调也会变的很简单原创 2024-06-13 21:41:30 · 569 阅读 · 0 评论