- 博客(13)
- 收藏
- 关注
RSS订阅原创 L2-InternVL 多模态模型部署微调实践
推理后我们发现直接使用2b模型不能很好的讲出梗，现在我们要对这个2b模型进行微调。我就直接复用之前的lmdeploy环境了。这里调高了lora rank。接下来要做的就是 默默等待。由于我是整卡a100。开始合并模型进行测试。
2024-08-24 23:32:40
119
原创 MindSearch CPU-only 版部署
把mindsearch中的requirements.txt和mindsearch放到文件夹中。然后去huggingface上，配置一下ssh key,方便上传文件。将app.py的项目入口文件放入huggingface项目中。因为gpu在训练，没有空闲机器了，就不在开发机上部署了。然后在huggingface上创建新的项目。clone huggingface空项目。clone mindsearch项目。直接部署到huggingface上。先获取硅基流动的api key。在项目中添加硅基流动的key。
2024-08-24 21:58:05
145
原创 LMDeploy 量化部署实践闯关任务
开始量化internLM2.5-7b(因为是大半夜，开始量化就睡觉了，所以量化个大的。将模型文件放到固态硬盘中，提升模型读取速度（开发机不能挂载内存盘，要不然就丢内存里了）我使用了0.95的缓存。编写自定义api工具。
2024-08-24 18:45:57
194
原创 Lagent 自定义你的 Agent 智能体
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。我是不是不应该自己在那费劲的实现发送请求 接收图片这种需要交互的逻辑了.......既然agent这玩意这么好用...复制 agent插件demo代码。在webdemo中添加新增的插件。编写一个新的agent插件。webdemo部署完成。安装完依赖后部署模型。
2024-08-24 04:32:28
152
原创 OpenCompass 评测 InternLM-1.8B 实践
直接使用之前xtuner的环境。克隆OpenCompass。查找mmlu测评数据集。
2024-08-03 18:59:57
141
原创 XTuner微调个人小助手认知
安装环境测试正常模型的效果模型并不认识我开始微调生成数据集修改微调配置文件开始训练训练完成模型转换模型合并测试模型。
2024-08-03 16:48:11
107
原创 llamaindex+Internlm2 RAG实践
使用这个项目的readme文件进行测试。默认模型并不认识sd提示词助手是什么。可以看到模型并不知道这是什么。开始构建自己的知识库。
2024-08-03 15:59:25
143
原创 8G 显存玩转书生大模型 Demo
Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型。LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型。创建环境以及应用安装依赖步骤省略。复制命令行对话的python代码。
2024-07-28 18:50:36
140
原创 InternLM Python task
请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。返回一个字典，key为单词，value为对应单词出现的次数。直接使用replace进行标点符号替换就行了 然后判断每个单词是否在字典里，如果在 就+1 如果不在 那就创建一个 =1。不需要考虑特别多的标点符号，只需要考虑实例输入中存在的就可以。然后可以看到经过一次循环后 got的dict 增加了1。在更复杂的情况下可以更详细的分析代码的运行步骤。
2024-07-10 11:13:26
639
1
原创 internLM 入门岛-Linux基础
创建文件夹然后用conda create创建环境即可（由于root目录外会清楚数据 所以需要指定目录）指定43646地址 登录root用户 地址为ssh.intern-ai.org.cn。如ssh -p 43646 root@ssh.intern-ai.org.cn。输入ssh连接命令（仅在win10版本以上可用）ssh {可选参数} {用户名}@{地址}使用ssh的-L参数 指定映射的端口与地址。nvidia-smi与studio-smi。-g 允许转发到其他的主机地址。./ test.sh 运行脚本。
2024-07-10 09:33:33
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人