- 博客(11)
- 收藏
- 关注
原创 使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能
OpenCompass 是面向大模型评测的一站式平台。:提供公平、公开、可复现的大模型评测方案:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力:已支持 20+ HuggingFace 及 API 模型:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测:支持零样本、小样本及思维链评测,结合标准型或对话型提示词模板,轻松激发各种模型最大性能:想增加新模型或数据集?想要自定义更高级的任务分割策略,甚至接入新的集群管理系统?
2024-08-03 17:17:06
326
原创 LangGPT结构化提示词编写实践
近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为。:利用LangGPT优化提示词,使LLM输出正确结果。下面是 prompt 的具体内容。
2024-08-02 18:32:59
165
原创 XTuner微调个人小助手认知
表示模式匹配,后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索,然后返回最有可能得内容。比如我们这里微调的是书生·浦语的模型,我们就可以匹配搜索。修改配置文件,打开internlm2_chat_1_8b_qlora_alpaca_e3_copy.py,修改了以下几个部分。如果自己想要微调的模型在开发机中没找到,也可以自己下载相关模型文件。在我们的输入的这个命令中,我们的。的方式来微调一个自己的小助手认知作为案例来进行演示。命令用于复制一个内置的配置文件。对应的是上面搜索到的。其他问题明显是正常的。
2024-07-28 17:22:47
386
原创 Linux+InternStudio 关卡
创建一个名字为“name”的,python 版本为3.10 的环境变量。2、在开发机中创建 hello_world.py文件。3、在开发机运行 hello_world.py文件。2、创建 conda 环境。
2024-07-11 14:52:31
195
原创 【笔记四】XTuner 微调个人小助手认知
在本节中主要就是跑通了 XTuner 的一个完整流程,通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。
2024-06-11 22:06:57
715
原创 【笔记三】在 InternLM Studio 上部署茴香豆技术助手
根据教程配置的茴香豆模型回答对比教程中,存在一些差距,目前还不清楚是什么原因,等后续作业全部完成后再仔细研究。
2024-06-09 19:43:54
544
1
原创 【笔记二】玩转书生·浦语大模型趣味 Demo
这里出现了一个错误,triton 需要的 huggingface_hub的版本不对,我查了一下安装的依赖中没有 triton,索性就没管它。使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体。下载 Lagent 相关的代码库。创作一个 300 字的小故事。下载 config.json。
2024-06-09 15:34:18
296
原创 【笔记一】书生·浦语大模型全链路开源体系
书生·浦语大模型全链路开源体系开源了包括数据(包括了2TB的数据,涵盖多种模态和任务)、预训练(开源了internLM - train一个预训练框架)、微调(X tuner框架,支持全参微调和LoRA等低成本微调)、部署(LMDeploy)、评测(opencompass等工具)和应用(支持多种智能体)等全链条环节,以及开源工具的功能和优势。大语言模型的数据质量会很大程度上影响大语言模型的性能,所以即使相同结构的大语言模型训练的数据质量不同,也会导致性能上的差距。如何加速 token 的生成速度?
2024-06-08 14:50:55
1036
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人