![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 90
此心安处是吾乡_
人生是一场长跑
展开
-
[论文阅读笔记31]Mamba (Selective Structured State Space Model) 及其应用
现有的基础模型都是以Transformer结构作为核心组建的。然而,Transformer中的注意力是二次方的复杂度,为了降低这个复杂度,一些线性注意力、门控卷积(gated convolution)和循环网络,以及状态空间模型(structured state space models,SSM)被提出,然而它们在一些重要的模态,例如语言中的性能并没有达到和Transformer中attention相媲美的程度。原创 2024-05-26 18:57:33 · 1775 阅读 · 0 评论 -
[InternLM训练营第二期笔记]7. OpenCompass 大模型评测实战
该系列是上海AI Lab举行的书生 浦语大模型训练营的相关笔记部分。该笔记是第七节课,学习大语言模型评测的基本概念,以及评测系统OpenCompass的使用。原创 2024-04-25 17:18:49 · 338 阅读 · 0 评论 -
[InternLM训练营第二期笔记]6.Lagent & AgentLego 智能体应用搭建
继承 BaseTool 类修改 default_desc 属性(工具功能描述)如有需要,重载 setup 方法(重型模块延迟加载)重载 apply 方法(工具功能实现)下面我们实现一个调用 MagicMaker 的 API 以实现图像生成的工具。class MagicMakerImageGeneration(BaseTool): # 第一步 继承BaseTool类。原创 2024-04-25 14:10:35 · 795 阅读 · 0 评论 -
[InternLM训练营第二期笔记]5. LMDeploy 量化部署 LLM 实践
KV Cache是一种缓存技术,通过存储键值对的形式来复用计算结果,以达到提高性能和降低内存消耗的目的。在大规模训练和推理中,KV Cache可以显著减少重复计算量,从而提升模型的推理速度。理想情况下,KV Cache全部存储于显存,以加快访存速度。当显存空间不足时,也可以将KV Cache放在内存,通过缓存管理器控制将当前需要使用的数据放入显存。模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、KV Cache占用的显存,以及中间运算结果占用的显存。原创 2024-04-24 23:31:24 · 944 阅读 · 0 评论 -
[InternLM训练营第二期笔记]4. XTuner 微调 LLM:1.8B、多模态、Agent
微调的目的是为了让foundation模型在特定的领域更好地发挥作用。增量预训练与指令跟随。其中,增量预训练的意思是继续训练,加入领域内的一些特定的知识。这个过程是无监督的,不需要人为制造高质量对话。而指令跟随微调,是让模型学会对话模板,因此是有监督的,数据是高质量的问答数据。原创 2024-04-20 15:42:30 · 908 阅读 · 0 评论 -
[InternLM训练营第二期笔记]3. “茴香豆“:零代码搭建你的 RAG 智能助理
该系列是上海AI Lab举行的书生 浦语大模型训练营的相关笔记部分。该笔记是第三节课,学习RAG的基本概念,以及对于开源RAG应用“茴香豆”进行部署。原创 2024-04-10 21:48:39 · 1121 阅读 · 0 评论 -
[InternLM训练营第二期笔记]2. 轻松分钟玩转书生·浦语大模型趣味 Demo
该系列是上海AI Lab举行的书生 浦语大模型训练营的相关笔记部分。该笔记是第二节课,完成对话、多模态等demo,形成对InternLM的初步了解。原创 2024-04-04 09:45:34 · 851 阅读 · 0 评论 -
[InternLM训练营第二期笔记]1. 书生·浦语大模型全链路开源开放体系
当前,人工智能的发展趋势是从专用模型到通用模型迈进。专用模型往往是解决一个特定的问题,而通用模型可以结合多种模态,完成多种任务。当前,InternLM模型已经完成了多轮的迭代,并在今年的1月,正式升级成为InternLM2:InternLM2目前已经开源了7B和20B的两个规格,而每个规格包含了三种模型的版本。InternLM2-Base相当于一个模型基准,通过对Base在各个方向上进行强化,就得到了InternLM。在Base的基础上,经过SFT(原创 2024-03-30 17:26:13 · 1036 阅读 · 0 评论