人工智能
文章平均质量分 85
果粒橙_LGC
本人目前研究生毕业,在一所学校当老师,我的目标是学习人工智能相关技术,包含视觉、自然语言、自动驾驶技术等等,在这里分享我学习过程中看到的算法、软件、硬件等等。由于涉及内容较多,并且学习过程比较难和麻烦,所以更新速度较慢,有些方向的知识更新周期较长,请谅解。也欢迎大家来和我讨论和分享知识
展开
-
LMDeploy 量化部署
在深入探讨LMDeploy的量化方案之前,我们先来理解两个核心概念:计算密集型和访存密集型。计算密集型场景意味着推理过程中,数值计算占据了大部分时间;而访存密集型则是指数据读取占据了推理的主要时间。对于LLM(大型语言模型)这类Decoder Only架构的模型,其推理过程往往表现为访存密集型,因此,如何有效减少访存占用的显存空间,对提升GPU计算效率至关重要。原创 2024-06-13 14:19:19 · 974 阅读 · 0 评论 -
InternLM Xtuner Qlora 微调
大模型微调原创 2024-06-10 13:25:23 · 1073 阅读 · 0 评论 -
注意力机制之External Attention
注意力机制原创 2023-03-18 11:49:46 · 1573 阅读 · 0 评论