- 博客(15)
- 收藏
- 关注
RSS订阅原创 InternLM InterbVL微调实践
如果这里你执行的epoch不是6，是小一些的数字。你可能会发现internvl_ft_run_8_filter下没有iter_3000.pth, 那你需要把iter_3000.pth切换成你internvl_ft_run_8_filter目录下的pth即可。让我们打开数据集的一张图看看，我们选择jsonl里的第一条数据对应的图片。使用lmdeploy自带的pipeline工具进行开箱即用的推理流程，首先我们需要新建一个文件。推理后我们发现直接使用2b模型不能很好的讲出梗，现在我们要对这个2b模型进行微调。
2024-08-29 20:07:12
988
原创 InternLM LMDeploy 量化部署实战
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。此时代表我们成功地使用本地API与大模型进行了一次对话，如果切回第一个终端窗口，会看到如下信息，这代表其成功的完成了一次用户问题GET与输出POST。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，执行量化工作。
2024-08-29 10:09:56
613
原创 Datawhale AI夏令营 CV task 1
第五期Datawhale AI夏令营的CV方向基于大运河杯的比赛开展。在Task1中，训练营学院需要跑通基于YOLO实现的目标检测方案的baseline代码。等待一段时间后即可查看结果。4. 回到 大运河杯 主页，提交。领取免费50h GPU在线算力。
2024-08-26 09:37:16
194
原创 基础岛 书生大模型全链路开源开放体系笔记
大模型的发展历程见证了从传统统计学习到深度学习的转变，特别是Transformer和GPT-3等模型的问世，标志着AI进入了一个新的时代。如今，这些大模型在智能体AI和机器人领域发挥着重要作用，如游戏AI、聊天机器人、蛋白质结构预测、决策规划和人机交互等，极大地提升了AI的性能和交互能力，推动了技术的广泛应用和深入发展，成为了通往通用智能的一把钥匙。
2024-08-12 00:12:25
659
原创 基础岛 opencompass评测
确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。除了通过命令行配置实验外，OpenCompass 还允许用户在配置文件中编写实验的完整配置，并通过 run.py 直接运行它。
2024-08-11 22:22:22
804
原创 基础岛 提示词实践
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。：利用LangGPT优化提示词，使LLM输出正确结果。
2024-08-11 16:16:06
1041
原创 基础岛 Llamaindex RAG关卡
（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库。回答的效果并不好，并不是我们想要的xtuner。进入开发机后，创建新的conda环境，命名为。运行以下指令，新建一个python文件。镜像，然后在资源配置中，使用。
2024-08-11 01:53:45
896
原创 基础岛 8G大模型demo
首先，我们创建一个目录，用于存放我们的代码。然后，我们将下面的代码复制到。来启动我们的 Demo。用conda创建虚拟环境。接下来，我们便可以通过。
2024-08-10 15:06:08
366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人