![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
文章平均质量分 84
Luchang-Li
这个作者很懒,什么都没留下…
展开
-
大语言模型LLM量化激活outliers异常值抑制
突破性技术: 大语言模型LLM量化激活outliers异常值抑制原创 2024-06-03 10:15:23 · 1611 阅读 · 3 评论 -
Transformer 从attention到grouped query attention (GQA)
Transformer 从Attention到grouped query attention (GQA)原创 2024-05-28 16:38:54 · 948 阅读 · 0 评论 -
LLM激活稀疏性加速
LLM激活稀疏性加速原创 2024-04-10 09:21:08 · 272 阅读 · 0 评论 -
导出谷歌gemma模型为ONNX
gemma模型导出ONNX原创 2024-03-08 21:05:54 · 892 阅读 · 6 评论 -
导出LLaMA ChatGlm2等LLM模型为onnx
通过onnx模型可以在支持onnx推理的推理引擎上进行推理,从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖,获得更好的性能等优势。原创 2023-08-05 19:15:07 · 4486 阅读 · 0 评论 -
AWQ模型量化实践
AWQ模型量化实践原创 2023-06-28 10:23:02 · 10161 阅读 · 6 评论 -
ZeroQuant-V2 LLM权重与激活量化
ZeroQuant-V2 LLM权重与激活量化原创 2023-06-17 14:52:22 · 1108 阅读 · 0 评论