- 博客(13)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型 进阶岛 InternVL 多模态模型部署
尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果。使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图。明显QLoRA后结果更能理解梗图。QLoRA模型部分代码。LoRA模型部分代码。QLoRA的loss。
2024-08-22 13:27:02
436
原创 书生·浦语大模型 进阶岛 LMDeploy 量化部署
一.使用结合W4A16量化与kv cache量化的internlm2_5-7b-chat模型封装本地API并与大模型进行一次对话。二.使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用。经对比即可发现，4.9G对15G，模型大小约为原模型1/3。将以下内容复制粘贴进internlm2_5_func.py。3.进行W4A16量化与kv cache量化。W4A16量化后显存占比减少约2GB。1.通过W4A16进行权重量化。此时显存占用13.5GB。
2024-08-21 10:06:33
391
原创 书生·浦语大模型 进阶岛 Lagent
使用 Lagent 自定义一个智能体，并使用 Lagent Web Demo 成功部署与调用，记录复现过程并截图。首先编写magicmaker工具文件，然后调用。启动时，需要将griffe库版本降低。
2024-08-20 14:06:46
187
原创 书生·浦语大模型 进阶岛 探索 InternLM 模型能力边界
Bad Case 1:Bad Case 2:Bad Case 3:Bad Case 4:Bad Case 5:Good Case 1:Good Case 2:Good Case 3:Good Case 4:Good Case 5:
2024-08-20 10:04:23
917
原创 书生·浦语大模型 基础岛 OpenCompass 评测
使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能，记录复现过程并截图。
2024-08-19 16:35:06
134
原创 书生·浦语大模型 基础岛 XTuner 微调
使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，，记录复现过程并截图。
2024-08-19 14:17:51
112
原创 书生·浦语大模型 基础岛 InternLM + LlamaIndex RAG 实践
任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。
2024-08-18 10:41:25
398
原创 书生·浦语大模型 基础岛 书生大模型全链路开源体系
总之，书生浦语大模型通过其全链路开源体系、持续的发展历程、不断的技术进化以及在多个领域的应用，展现了其作为一款先进人工智能技术的强大实力和广泛影响力。书生浦语大模型作为一款由上海人工智能实验室（Shanghai AI Laboratory）研发的先进技术产品，其全链路开源体系、发展历程、进化时间以及领域发展等诸多方面都展现了其卓越的技术实力和创新精神。通过基于规则的数据构造，基于模型的数据扩充，基于人类反馈的数据生成，进行高质量合成数据。融合多次数据合成方案，提升合成数据质量。2.支持100万字上下文。
2024-08-16 13:33:58
145
原创 书生·浦语大模型 基础岛 浦语提示词工程实践
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。：利用LangGPT优化提示词，使LLM输出正确结果。完成一次并提交截图即可。不加入prompt，原始回答(之前强制模型回答错误一次，这次回答就没结果了)3.编写prompt进行实践。加入prompt，回答结果。1.根据文档进行环境配置。2.端口映射打开UI界面。
2024-08-15 14:25:03
157
原创 书生·浦语大模型 基础岛 8G 显存玩转书生大模型 Demo
1.配置一个虚拟环境llm_demo。2.创建cli_demo.py文件。3.直接在开发机上运行demo。4.生成300字小故事。
2024-08-14 13:37:41
137
原创 书生·浦语大模型入门岛 Python基础知识
Python实现wordcount要求：实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。TIPS：记得先去掉标点符号,然后把每个单词转换成小写。不需要考虑特别多的标点符号，只需要考虑实例输入中存在的就可以。对给定实例计算wordcount输出结果为开发机中终端执行。
2024-08-13 14:12:57
168
原创 书生·浦语大模型入门岛 Linux基础知识
完成SSH连接与端口映射并运行hello_world.py根据发布readme.md文件进行学习。1.根据开发机SSH连接中登录命令以及密码远程与连接vscode.2.根据文件中helloworld.py文件在开发机中建立demo文件夹，创建hellowolrd.py文件。3. 端口远程已连接，故可直接显示。
2024-08-13 13:40:46
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人