- 博客(5)
- 资源 (7)
- 收藏
- 关注
原创 灵哥讲llama3(下)
在计算kv分数矩阵的时候,k中的每一头都重复4次, 这样k和q的头数是一样多的, 后面v中的每一头也重复4次, 然后和这个分数矩阵做矩阵乘法. 这样做的好处是减少了头的数量,从而减小了kv缓存的大小,以减轻带宽压力,从而实现更快的推理速度。self.n_local_heads = args.n_heads 和 self.n_local_kv_heads = self.n_kv_heads。wq, wk, wv 分别是把输入计算成 q, k, v用到的参数矩阵. 使用多GPU并行机制以加快运算.
2024-06-17 21:12:06 1909
原创 灵哥讲llama3(上)
本文章由浅入深的讲解llama3的工作原理, 大语言模型LLM的工作原理相差无几, 掌握了llama3, 触类旁通, 再去掌握其他的LLM模型就很简单。了解原理之后再去做训练和微调也会变的很简单
2024-06-13 21:41:30 1603
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人