![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大语言模型
文章平均质量分 87
云从天上来
只要还没有卷死在算法的路上,就一直卷,卷到摸到门槛为止
展开
-
ChatGLM系列解析(二)—— ChatGLM2
描述ChatGLM2使用到的核心技术,以及相比ChatGLM1的一些收益原创 2024-08-02 15:39:11 · 339 阅读 · 0 评论 -
MQA(Multi-Query Attention)详解
MQA(Multi-Query Attention):多头注意力机制MHA的优化版本,轻微牺牲性能,换取FLOPs的减少和KV Cache的显存占用的减少。原创 2024-08-01 17:36:17 · 563 阅读 · 0 评论 -
FlashAttention解析——大预言模型核心组建
FlashAttention详解:大预言模型核心组件原创 2024-07-30 17:42:59 · 868 阅读 · 0 评论 -
ChatGLM系列解析(一)—— ChatGLM开篇之作
ChatGLM系列的开篇之作,主要讲解其中的核心技术与关键点原创 2024-07-23 10:44:08 · 862 阅读 · 0 评论