- 博客(5)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 灵哥讲llama3(下)
在计算kv分数矩阵的时候,k中的每一头都重复4次, 这样k和q的头数是一样多的, 后面v中的每一头也重复4次, 然后和这个分数矩阵做矩阵乘法. 这样做的好处是减少了头的数量，从而减小了kv缓存的大小，以减轻带宽压力，从而实现更快的推理速度。self.n_local_heads = args.n_heads 和 self.n_local_kv_heads = self.n_kv_heads。wq, wk, wv 分别是把输入计算成 q, k, v用到的参数矩阵. 使用多GPU并行机制以加快运算.
2024-06-17 21:12:06
902
原创 灵哥讲llama3(上)
本文章由浅入深的讲解llama3的工作原理， 大语言模型LLM的工作原理相差无几， 掌握了llama3, 触类旁通， 再去掌握其他的LLM模型就很简单。了解原理之后再去做训练和微调也会变的很简单
2024-06-13 21:41:30
569
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人