- 博客(14)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 进阶岛-第4关-【InternVL 多模态模型部署微调实践】
让我们一起修改XTuner下 InternVL的config，文件在： /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py。你可能会发现internvl_ft_run_8_filter下没有iter_3000.pth, 那你需要把iter_3000.pth切换成你internvl_ft_run_8_filter目录下的pth即可。
2024-09-16 11:55:49
659
原创 进阶岛-第3关-【LMDeploy 量化部署进阶实践】
准确说，模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位整数、4位整数、甚至二值网络）来实现。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，执行量化工作。那么标题中的W4A16又是什么意思呢？
2024-09-15 12:44:20
766
原创 进阶岛-第2关-【Lagent 自定义你的 Agent 智能体】
lagent2.4 Lagent Web Demo 使用首先，我们先使用 LMDeploy 部署 InternLM2.5-7B-Chat，并启动一个 API Server。然后，我们将下面的代码复制进入 /root/agent_camp3/lagent/lagent/actions/magicmaker.py最后，我们修改 /root/agent_camp3/lagent/examples/internlm2_agent_web_demo.p
2024-09-11 23:12:39
685
原创 基础岛-第5关-【XTuner 微调个人小助手认知】
微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。Finetune的两种范式:增量预训练和指令跟随。
2024-09-10 00:22:20
1048
原创 基础岛-第4关-【InternLM + LlamaIndex RAG 实践】
第一个的回答效果并不好,并不是我们想要的,第二个的回答是受过训练的,从百度对比结果,答案基本一致.
2024-09-08 17:00:54
804
原创 基础岛-第3关-【浦语提示词工程实践】
背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8
2024-09-07 02:21:54
339
原创 基础岛-第2关-【8G 显存玩转书生大模型 Demo】
使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。
2024-09-05 17:27:25
303
原创 基础岛-第1关-【书生大模型全链路开源体系】
大模型的全链路流程已实现并开源，涵盖数据采集、标注、训练、调优、评估，以及基于模型的智能代理和搜索引擎开发，最终实现AI应用部署。
2024-09-05 10:54:55
523
原创 入门岛-第2关-【关卡任务】
请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。以下就代表启动命令成功。
2024-09-02 17:33:25
576
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人