书生·浦语大模型实战营
文章平均质量分 87
书生·浦语大模型实战营
Nobitaxi
这个作者很懒,什么都没留下…
展开
-
书生·浦语大模型实战营:基于InternLM2-chat-7B微调一个Text-to-SQL领域模型
目录训练阶段训练平台配置环境数据集模型下载微调将得到的PTH模型转换为HuggingFace模型,即:生成Adapter文件将HuggingFace Adapter合并到基座模型使用Xtuner chat进行验证在参加完书生·浦语大模型实战营后,我打算微调一个Text-to-SQL领域的垂直模型。选择上海人工智能实验室推出的InternLM2-chat-7B模型作为基座模型进行增量训练。训练阶段训练平台AutoDL平台、RTX 4090(24G)、Ubuntu22.04、CUDA 12.1配置环境原创 2024-03-14 21:52:24 · 634 阅读 · 0 评论 -
书生·浦语大模型实战营:5.LMDeploy 大模型量化部署实践
clone开发机上准备好的环境手动安装lmdeploy# 由于默认安装的是 runtime 依赖包,但是我们这里还需要部署和量化,所以,这里选择 [all]原创 2024-01-22 19:37:47 · 972 阅读 · 0 评论 -
书生·浦语大模型实战营:6.OpenCompass大模型评测
模型层:大模型评测所涉及的主要模型种类,OpenCompass以基座模型和对话模型作为重点评测对象。能力层:OpenCompass从本方案从通用能力和特色能力两个方面来进行评测维度设计。在模型通用能力方面,从语言、知识、理解、推理、安全等多个能力维度进行评测。在特色能力方面,从长文本、代码、工具、知识增强等维度进行评测。方法层:OpenCompass采用客观评测与主观评测两种评测方式。原创 2024-01-22 18:56:09 · 871 阅读 · 0 评论 -
书生·浦语大模型实战营:2.轻松玩转书生·浦语大模型趣味 Demo
由于服务器通常只暴露了用于安全远程登录的 SSH(Secure Shell)端口,如果需要访问服务器上运行的其他服务(如 web 应用)的特定端口,需要一种特殊的设置。我们可以通过使用SSH隧道的方法,将服务器上的这些特定端口映射到本地计算机的端口。由于代码修改的地方比较多,大家直接将 /root/code/lagent/examples/react_web_demo.py 内容替换为以下代码。步骤⑥:在本地终端输入以下指令 .6006 是在服务器中打开的端口,而 33090 是根据开发机的端口进行更改。原创 2024-01-07 16:46:45 · 893 阅读 · 0 评论 -
书生·浦语大模型实战营:3.基于InternLM和LangChain搭建你的知识库
复现课程知识库助手搭建过程 (截图)选择一个垂直领域,收集该领域的专业资料构建专业知识库,并搭建专业问答助手,并在 OpenXLab 上成功部署(截图,并提供应用地址)环境配置,模型,代码下载同书生·浦语大模型实战营:2.轻松玩转书生·浦语大模型趣味 DemoLangChain相关环境配置同时,需要使用到开源词向量模型:(我们也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的)首先需要使用 huggingface 官方提供的 huggingface原创 2024-01-10 21:15:20 · 851 阅读 · 0 评论 -
书生·浦语大模型实战营:4.XTuner大模型单卡低成本微调实战
构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手,效果如下图所示,本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称!微调前(回答比较官方)微调后(对自己的身份有了清晰的认知)以数据集为例原格式:(.xlsx)(问题 药物类型 问题类型 回答 主题 URL)此时,我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。原创 2024-01-17 14:50:07 · 949 阅读 · 0 评论 -
书生·浦语大模型实战营:1.书生·浦语大模型全链路开源体系
其中7B、20B都是开源的,免费商用的。从专用模型到通用大模型。原创 2024-01-04 16:53:43 · 589 阅读 · 0 评论