- 博客(11)
- 收藏
- 关注
RSS订阅原创 七、OpenCompass 大模型测评实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-06-23 22:09:16
1536
原创 四、XTuner 微调实战任务
在 XTuner 中也是提供了一键整合的指令，但是在使用前我们需要准备好三个地址，包括原模型的地址、训练好的 adapter 层的地址（转为 Huggingface 格式后保存的部分）以及最终保存的地址。模型被过拟合了，但是已经严重过拟合，回复的话就只有“我是AI小白的小助手，内在时上海AI实验室书生·浦语的1.8B大模型哦”这句话。，将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 Huggingface 格式文件。创建python文件、修改、运行。配置文件，并修改config文件。
2024-06-23 21:58:20
347
原创 五、LMDeploy 量化部署 LLM-VLM 实践任务
创建开发机和conda环境由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy环境创建成功后如图：安装LMDeploy激活刚刚创建的虚拟环境。安装0.3.0版本的lmdeploy。
2024-06-23 21:39:07
874
原创 二、轻松玩转书生·浦语大模型趣味 Demo
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
2024-06-23 21:20:48
814
原创 六、Lagent & AgentLego 智能体应用搭建实践任务
在本节中，我们将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。
2024-06-23 20:28:43
1592
原创 六、Lagent & AgentLego 智能体应用搭建
幻觉：模型可能生成与现实不符的信息。例如：问：鲁迅与周树人是同一个人吗？答：鲁迅与周树人不是同一个人。时效性：模型训练数据过时，可能无法反映最新趋势和信息。例如：问：今年是哪一年？答：今年是2023年。可靠性：面对复杂任务时，可能频发错误输出，影响信任度。例如：如图所示感知：能够感知环境中的动态条件。动作：能采取动作影响环境。推理：运用推理能力理解信息解决问题产生推断决定动作。
2024-06-23 16:29:49
1635
原创 五、LMDeploy 量化部署 LLM-VLM 实践
在计算过程中，会有大量的KV缓存，但并非每一时刻都需要用到所有缓存不用的部分可以从显存拿出来放到内存中，在需要用的时候，再转换成显存，从而降低显存占比。
2024-06-18 23:29:34
307
原创 四、XTuner 微调 LLM：1.8B、多模态、Agent
底座模型（Foundation）基于普遍性、一般性任务而预训练，效果在实际、特定辖域的领域中不如领域内预训练的微调模型。
2024-06-17 18:21:38
303
原创 三、茴香豆搭建知识库实战
检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索。进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为。RAG 技术的优势就是非参数化的模型调优，这里使用的仍然是基础模型。文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个。命令行输入下面的命令，修改用于向量数据库和词嵌入的模型。面对同样的问题，我们的。的相关模块，默认嵌入和重排序模型调用的网易。
2024-06-12 12:03:00
173
原创 三、茴香豆：搭建你的 RAG 智能助理
茴香豆是一款新的应用，由于没有使用相关的资料去训练模型，原始的InternLM2-Chat-7B模型便无法回答相关问题、胡编乱造RAG很好地解决了上述问题，无需额外训练。其最大的特点是解决大模型处理知识密集任务时的各种挑战。其应答模块采用多来源检索、混合检索、安全评估来保证输出内容的准确性其综合多来源检索到的信息，通过评分来控制内容筛选，方便控制输出内容的严谨性。
2024-06-10 18:07:26
777
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人