书生·浦语大模型实战营
文章平均质量分 80
认真学习的地蛋
这个作者很懒,什么都没留下…
展开
-
大模型实战营Day6 OpenCompass 大模型评测:作业
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后,可以通过以下命令评测 InternLM-Chat-7B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程,我们可以在第一次运行时以 --debug 模式启动评估,并检查是否存在问题。使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。在 OpenCompass 中评估一个模型通常包括以下几个阶段:配置 -> 推理 -> 评估 -> 可视化。原创 2024-02-20 22:15:41 · 441 阅读 · 0 评论 -
大模型实战营Day6 OpenCompass 大模型评测
同时,由于大语言模型输出自由度较高,在评测阶段,我们需要对其输入和输出作一定的规范和设计,尽可能减少噪声输出在评测阶段的影响,才能对模型的能力有更加完整和客观的评价。针对如模型安全和模型语言能力的评测,以人的主观感受为主的评测更能体现模型的真实能力,并更符合大模型的实际使用场景。对话模型:一般是在的基座模型的基础上,经过指令微调或人类偏好对齐获得的模型(如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语),能理解人类指令,具有较强的对话能力。我们以语言大模型为例介绍评测的具体模型类型。原创 2024-02-20 20:15:37 · 762 阅读 · 0 评论 -
大模型实战营Day5 LMDeploy 大模型量化部署实践:作业
对internlm-chat-7b模型进行量化,并同时使用KV Cache量化,使用量化后的模型完成API服务的部署,分别对比模型量化前后(将 bs设置为 1 和 max len 设置为512)和 KV Cache 量化前后(将 bs设置为 8 和 max len 设置为2048)的显存大小。(3)在(1)的基础上开启KV Cache量化。(4)在(2)的基础上开启KV Cache量化。(2)在(1)的基础上采用W4A16量化。2.1.1 在线转换。2.1.2 离线转换。原创 2024-02-20 19:57:57 · 395 阅读 · 0 评论 -
大模型实战营Day5 LMDeploy 大模型量化部署实践
4 bit Weight Only量化,将FP16的模型权重量化为NT4,访存量直接降为FP16模型的1/4,大幅降低了访存成本,提高了Decoding的速度。LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。加速的同时还节省了显存,同样的设备能够支持更大的模型以及更长的对话长度。高效的w4a16,kv8反量化kernel。为什么做Veight Only的量化?Batch中已经完成推的请求及时退出。请求可以及时加入batch中推理。对话token被缓存在推理侧。原创 2024-02-18 20:41:30 · 940 阅读 · 0 评论 -
大模型实战营Day4 XTuner 大模型单卡低成本微调实战:作业
构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手,效果如下图所示,本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称!intern-studio拷贝一个配置文件到当前目录: # xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH}模型下载数据集下载修改配置文件开始微调利用 QLoRA 算法在 oasst1 数据集上微调 InternLM-7B:将得到的 PTH 模型转换为 Hu原创 2024-02-18 18:51:51 · 343 阅读 · 0 评论 -
大模型实战营Day4 XTuner 大模型单卡低成本微调实战
增量预训练和指令跟随(指令微调)指令微调的流程。原创 2024-02-18 01:12:09 · 360 阅读 · 0 评论 -
大模型实战营Day3 基于 InternLM 和 LangChain 搭建你的知识库:作业
选择一个垂直领域,收集该领域的专业资料构建专业知识库,并搭建专业问答助手,并在 OpenXLab 上成功部署(截图,并提供应用地址)原创 2024-02-15 01:46:26 · 1417 阅读 · 1 评论 -
大模型实战营Day3 基于 InternLM 和 LangChain 搭建你的知识库
LangChain框架是一个开源工具,通过为各种LLM提供通用接口来简化应用程序的开发流程,帮助开发者自由构建LLM应用链(Chains):将组件组合实现端到端应用,通过一个对象封装实现一系列LLM操作Eg.检索问答链,覆盖实现了RAG(检索增强生成)的全部流程。原创 2024-02-15 01:12:52 · 432 阅读 · 1 评论 -
大模型实战营Day2 轻松玩转书生·浦语大模型趣味Demo:作业
熟悉 hugging face 下载功能,使用 huggingface_hub python 包,下载 InternLM-20B 的 config.json 文件到本地(需截图下载过程)。进入开发机后,在页面的左上角可以切换 JupyterLab、终端和 VScode,并在终端输入 bash 命令,进入 conda 环境。打开刚刚租用服务器的进入开发机,并且打开其中的终端开始环境配置、模型下载和运行 demo。step2: 新建 python 文件,填入以下代码,运行即可。在终端运行以下命令,即可体验。原创 2024-02-15 00:51:27 · 1259 阅读 · 0 评论 -
大模型实战营Day2 轻松玩转书生·浦语大模型趣味Demo
什么是大模型?定义:机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。特点及应用利用大量数据进行训练拥有数十亿甚至数千亿个参数在各种任务中展现出惊人的性能InternLM 模型全链条开源InternLM是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖。基于InternLM和。原创 2024-02-14 20:15:07 · 378 阅读 · 1 评论 -
大模型实战营Day1 书生·浦语大模型全链路开源体系
重量级InternLM-123B(通用大语言模型能力全面覆盖 千亿模型规模):1230亿模型参数,强大的性能;提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务。已经覆盖了轻量级、中量级、重量级三个级别,7B和20B都是开源可用的。学科:初中考试、中国高考、大学考试、语言能力考试、职业资格考试。安全:偏见、有害性、公平性、隐私性、真实性、合法性。智能体以大模型为核心,进行调用、规划、推理和执行。推理:因果推理、常识推理、代码推理、数学推理。涵盖数据、预训练、微调,、部署、评测和应用。原创 2024-02-12 21:15:51 · 814 阅读 · 1 评论