- 博客(12)
- 收藏
- 关注
原创 InternVL 微调实践闯关任务 L2
我们选定的任务是让InternVL-2B生成文生图提示词,这个任务需要VLM对图片有格式化的描述并输出。让我们来一起完成一个用VLM模型进行冷笑话生成,让你的模型说出很逗的冷笑话吧。在这里,我们微调InterenVL使用xtuner。部署InternVL使用lmdeploy。准备InternVL模型我们使用InternVL2-2B模型。该模型已在share文件夹下挂载好,现在让我们把移动出来。
2024-08-22 20:15:43
585
原创 LMDeploy 量化部署实践闯关任务 L2
70亿个参数×每个参数占用2个字节=14GB所以我们需要大于14GB的显存,选择 30%A100*1(24GB显存容量),后选择立即创建,等状态栏变成运行中,点击进入开发机,我们即可开始部署。在终端中,让我们输入以下指令,来创建一个名为lmdeploy的conda环境,python版本为3.10,创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。这里我用的是上次的虚拟环境,只需执行。
2024-08-21 13:04:04
703
原创 Lagent 自定义你的 Agent 智能体 L2
在本节中,我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。使用 Lagent 自定义工具主要分为以下几步:继承 BaseAction 类实现简单工具的 run 方法;或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰;工具包内每个子工具的功能都需要被 tool_api 装饰。
2024-08-20 15:21:49
846
原创 使用 OpenCompass 来评测 InternLM2 1.8B实践 L1
在 OpenCompass 中评估一个模型通常包括以下几个阶段:配置 -> 推理 -> 评估 -> 可视化。配置:这是整个工作流的起点。您需要配置整个评估过程,选择要评估的模型和数据集。此外,还可以选择评估策略、计算后端等,并定义显示结果的方式。推理与评估:在这个阶段,OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出,而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率。
2024-08-20 01:13:29
813
原创 XTuner微调个人小助手认知 L1
模型格式转换完成后,我们的目录结构应该是这样子的。目录结构├── hf转换完成后,可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件,这就代表着文件成功被转化为 HuggingFace 格式了。此时,hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”可以简单理解:LoRA 模型文件 = Adapter。
2024-08-19 18:57:37
883
原创 L1 InternLM + LlamaIndex RAG 实践
本文将分为以下几个部分来介绍,如何使用 LlamaIndex 来部署 InternLM2 1.8B(以 InternStudio 的环境为例)
2024-08-19 13:12:41
815
原创 L1 浦语提示词工程实践
背景问题:近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为13.8
2024-08-18 18:33:27
611
原创 L1 书生大模型开源体系
模型有InternLM-XComposer,InternLM-Math,InternLM-WQX,工具具体使用方法可以从官网查看或者相关github仓库查看文档。接下来会一步一步简绍相关工具链的使用,请查看下一步发布的文章。模型可以从huggingface或国内的魔塔社区下载。102B是闭源的,典型场景表现接近GPT-4。开源的有 1.8B,7B.20.具体可以看视频或者github。涉及微调,数据处理,部署等。
2024-08-18 14:28:37
267
原创 Git 基础 L0
每个指令都有其特定的用途和场景,详细的使用方法和参数可以通过命令行的帮助文档(git command -h,例如 git pull -h)来获取更多信息。本地设置用户信息 首先,确保你当前处于你想要配置的 Git 仓库的目录中。这是设置默认用户名和电子邮件的好方法。同样,替换 “Your Name” 和 “your.email@example.com” 为该特定项目中使用的姓名和电子邮件。如果我之前的仓库是用https提交的,那么我现在想用ssh 的方式提交,怎么办呢 ,别急,下面就来教你怎样操作了。
2024-08-17 23:34:05
960
原创 Python基础 L0
3: step into: 进入函数或者方法。如果当行代码存在函数或者方法时,进入代码该函数或者方法。如果当行代码没有函数或者方法,则等价于step over。你可以使用“Run and Debug”侧边栏顶部的按钮来单步执行代码。这样,你可以逐行运行代码,并查看每行代码执行后的效果。2: step over:跳过,可以理解为运行当前行代码,不进入具体的函数或者方法。4: step out:退出函数或者方法, 返回上一层。点击RUN ADN debug,选择python。6: stop:终止debug。
2024-08-17 23:09:41
104
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人