大模型
文章平均质量分 82
知源书院
知源书院粉丝群:983387298
展开
-
03-InternLM2-Math-Plus-20B 微调
请参考, 本教程重点为如何微调新模型。原创 2024-07-23 15:16:04 · 209 阅读 · 1 评论 -
《峡谷小狐仙-多模态角色扮演游戏助手》复现流程
1、移动的文件太多太大,要检测清楚所有文件夹下文件齐全。2、配置环境库按照 requirements.txt 安装下面这个细节没改!!!原创 2024-07-22 12:05:31 · 409 阅读 · 0 评论 -
第三期闯关基础岛
test.sh原创 2024-07-14 00:44:25 · 1084 阅读 · 0 评论 -
OpenXlab应用部署踩坑记录
OpenXlab要求创建的应用得有app.py,但是可以在创建应用的时候将默认的启动文件更改,实践中将其改成了start.py,以我要上传的AMChat_internlm2-math-plus-7b_Hong为例。packages.txt 配置下载模型权重的工具包 git 和 git-lfs。requirement.txt 配置 python相关的依赖包。web_demo.py中修改好模型的路径。可以检测到app.py以及下载模型及成功。在上传好的模型查看一下如何使用模型。剩下的正常安装说明文档操作,原创 2024-06-22 17:01:37 · 407 阅读 · 0 评论 -
大模型部署_书生浦语大模型 _作业7 OpenCompass :是骡子是马,拉出来溜溜
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0),用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测。原创 2024-06-08 23:52:39 · 770 阅读 · 0 评论 -
大模型部署_书生浦语大模型:Lagent & AgentLego 智能体应用搭建
在本节中,我们将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承 BaseAction 类实现简单工具的 run 方法;或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰;工具包内每个子工具的功能都需要被 tool_api 装饰创建工具文件import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。原创 2024-06-08 22:24:02 · 1063 阅读 · 0 评论 -
大模型部署_书生浦语大模型 _作业5 LMDeploy 量化部署 LLM & VLM 实践
HuggingFace是一个高速发展的社区,包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区,如果你有数据集或者模型想对外分享,网盘又不太方便,就不妨托管在HuggingFace。托管在HuggingFace社区的模型通常采用HuggingFace格式存储,简写为HF格式。但是HuggingFace社区的服务器在国外,国内访问不太方便。国内可以使用阿里巴巴的M原创 2024-06-05 23:59:02 · 900 阅读 · 0 评论 -
大模型部署_书生浦语大模型 _作业4 XTuner 微调个人小助手认知
一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。1.2数据集准备为了让模型能够让模型认清自己的身份弟位,知道在询问自己是谁的时候回复成我们想要的样子,我们就需要通过在微调数据集中大量掺杂这部分的数据。首先我们先创建一个文件夹来存放我们这次训练所需要的所有文件。之后我们可以在 目录下新建一个 文件,将以下代码复制进去,然后运行该脚本即可生成数据集。假如想要加大剂量让他能够完完全全认识到你的身份,那我们可以吧 的值调大一点。 tree.原创 2024-06-02 23:09:49 · 1095 阅读 · 0 评论 -
大模型部署_书生浦语大模型 _作业2基本demo
打开 路径下 文件,并修改对应位置 (71行左右) 代码 :internlm2_agent_web_demo_hf.py。图片理解实战(开启 50% A100 权限后才可开启此章节)补充环境包,选用 进行开发:50% A100。原创 2024-05-28 21:12:28 · 603 阅读 · 0 评论 -
大模型部署_书生浦语大模型 _作业1基本理论
上海人工智能实验室与商汤科技联合香港中文大学、复旦大学发布新一代大语言模型书生·浦语2.0(InternLM2)。这个大模型包含70亿和200亿两种参数规格,以及基座、对话等版本,向全社会开源并提供免费商用授权。书生·浦语2.0(英文名:InternLM2)核心理念:回归语言建模的本质,致力于通过提高语料质量及信息密度,实现模型基座语言建模能力获得质的提升,进而在数理、代码、对话、创作等各方面都取得长足进步,综合性能达到同量级开源模型的领先水平。原创 2024-05-21 23:58:55 · 695 阅读 · 0 评论 -
大模型_1、服务器部署大模型 ChatGLM3
1.1、升级apt。原创 2024-03-16 23:41:03 · 889 阅读 · 0 评论