- 博客(13)
- 收藏
- 关注
RSS订阅原创 书生浦语大模型-作业七（OpenCompass大模型评测）
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。当屏幕显示‘Starting inference process’时表示已正常开始评测。列出所有跟 InternLM 及 C-Eval 相关的配置。也可以在生成的CSV文件中查看评测结果。查看支持的数据集和模型。
2024-04-25 17:55:18
214
1
原创 书生浦语大模型-笔记七（OpenCompass大模型评测）
客观评测能便捷地评估模型在具有确定答案（如选择，填空，封闭式问答等）的任务上的能力，主观评测能评估用户对模型回复的真实满意度，OpenCompass 采用基于模型辅助的主观评测和基于人类反馈的主观评测两种方式。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。模型层：大模型评测所涉及的主要模型种类，OpenCompass 以基座模型和对话模型作为重点评测对象。
2024-04-25 17:49:49
171
1
原创 书生浦语大模型-作业六（Lagent & AgentLego 智能体应用搭建）
输入“请帮我搜索 InternLM2 Technical Report” 以让模型搜索书生·浦语2的技术报告。
2024-04-25 17:39:30
159
1
原创 书生浦语大模型-笔记六（Lagent & AgentLego 智能体应用搭建）
1、大脑：作为控制器，承担记忆、思考和决策任务。接受来自感知模块的信息，并采取相应的动作。工具可能包括文本的检索、调用相关API、操控机械臂等。2、感知：对外部环境的多模态信息进行感知和处理。包括但不限于图像、音频、视频、传感器等。3、能运用推理能力理解信息、解决问题、产生推断、决定动作。3、可靠性，面对复杂任务，可能错误频发现象，影响信任度。1、幻觉，模型可能产生虚假信息，与现实严重不符与脱节。2、时效性，模型训练数据过时，无法反应最新趋势和信息。1、可以感知环境中的动态条件。AutoGPT基本流程。
2024-04-25 17:34:36
535
1
原创 书生浦语大模型-作业四
下载InrernLM下的代码库，新建web demo脚本，运行即可。因为我们用的QLoRA，因此还需要整合为最终模型。和文档中观察到的一样，600轮后过拟合了。将数据生成脚本中的用户名改为kw。
2024-04-18 20:11:20
120
1
原创 书生浦语大模型-笔记四
编写脚本，通过指定用户名和数据条目数量，生成对话格式的数据，这些数据将模拟用户与助手的交互。重复生成指定数量的数据条目，创建足够大的数据集，用于后续的微调过程。启动训练: 完成配置后，用户可以一键启动模型训练。模型整合指令：使用 XTuner 提供的指令，整合原模型、训练好的 adapter 层，以及设置保存的最终地址。对话测试：通过简单的 web 演示或 CLI 工具，测试整合后的模型对话能力，比较微调前后的变化。明确目标: 明确自己的微调目标是非常关键的，这包括理解需要使用的数据类型和所需的计算资源。
2024-04-18 19:58:30
669
1
原创 书生浦语大模型-作业五
从InternStudio开发机上下载模型,首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。然后执行指令由开发机的共享目录软链接或拷贝模型执行完指令后，可以运行“ls”命令。可以看到，当前目录下已经多了一个internlm2-chat-1_8b文件夹，即下载好的预训练模型。由于环境依赖项存在torch，下载过程可能比较缓慢。打开命令行终端，创建一个名为lmdeploy的环境：接下来，激活刚刚创建的虚拟环境。首先保持不加该参数（默认0.8），运行1.8B模型此时显存占用为7856MB。
2024-04-13 13:04:24
241
原创 书生浦语大模型-笔记五
知识蒸馏是先根据上下文学习，然后保有原本的思维链按照指令跟随从而将模型压缩。它可以通过代码来实现根据图片来生成你想要的文本，对未来的发展提供更多便捷。模型部署简单来说就是对软件应用，对人工智能来说是将深度学习模型运行。大模型部署要有强大的技术支持，但也会遇到许多难题。
2024-04-13 12:38:39
224
原创 书生浦语大模型-笔记三
除了开始介绍的最简单的问答系统的RAG之外，还有两种更高级的RAG范式，分别是Advanced RAG和Modular RAG。RAG的工作流主要是将用户的输入转化为向量，在预先搭建的知识向量索引数据库中进行检索查询，找到相似知识后合并为prompt再给到大模型进行提问。RAG是检索增强生成技术，主要是为了在不进行模型训练的情况下，解决模型对训练语料意外的未来知识的回答能力，为大模型提供“外部知识”。因此RAG涉及到向量数据库的构建，向量数据库的查询效率，向量表示方法的选择，将直接影响RAG的效果。
2024-04-13 12:12:44
195
原创 书生浦语大模型-笔记二
课程文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md。课程作业：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/homework.md。课程视频：https://www.bilibili.com/video/BV1AH4y1H78d/浅唱多模态实践，通过InternLM-XComposer2 模型实现更加复杂的图文生产写作。
2024-04-03 17:23:56
283
1
原创 书生浦语大模型笔记一
Class1主要介绍了有关书生浦语在行业上的优势在自己完整的全链条开源开放体系的优势和强大竞争力，也说明了建立一个大模型所需要的配置和基础的流程和操作。
2024-04-02 17:09:20
673
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人