- 博客(11)
- 收藏
- 关注
RSS订阅原创 InternVL 微调实践闯关任务
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
2024-09-07 11:32:04
409
原创 LMDeploy 量化部署实践闯关任务
自拟一个开发机名称，选择镜像。我们要运行参数量为7B的InternLM2.5，由查询InternLM2.5-7b-chat的config.json文件可知，bfloat16所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。
2024-09-06 21:30:52
558
原创 Lagent 自定义你的 Agent 智能体
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器Lagent 中关于工具部分的介绍文档位于。继承BaseAction类实现简单工具的run方法；或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰；
2024-09-03 23:21:18
961
原创 使用 OpenCompass 来评测 InternLM2 1.8B实践
在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在C-Eval基准任务上的评估。更多评测技巧请查看文档。
2024-09-02 22:44:00
326
原创 XTuner微调个人小助手认知
修改默认的配置文件internlm2_chat_1_8b_qlora_alpaca_e3_copy.py，然后就是映射端口，请移步前面查看，在浏览器中输入链接127.0.0.1:8051访问，具体效果如下。在InternStudio上创建开发机，选择开发机镜像：Cuda12.2-conda。的方式来微调一个自己的小助手认知作为案例来进行演示。浏览器输入网址：127.0.0.1:8051。想了解微调相关的基本概念，可以访问。依次运行以下命令，具体作用参见注释。查看执行后的目录结构。
2024-09-01 19:15:19
309
原创 llamaindex+Internlm2 RAG实践
给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。它能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。
2024-09-01 11:36:09
192
原创 浦语提示词工程实践
第一步本地终端 ssh 连上开发机（一定要 ssh 连接上操作，不能在 web 里面操作！，不要用 vscode ssh 链接）这个时候按住Ctrl+B，然后单独按D（记得输入法先切换成英文模式）即可以进入前台的命令窗口。第三步重启开发机,系统会重置 /root 路径下的配置文件。意外情况：把开发机环境搞坏了，只能重置下开发机重来了。使用LMDeploy进行部署（更多的设置可以参考。测试下，“你是谁，从哪里来，到哪里去”1.3 图形化界面调用。0.3. 安装必要软件。，大概会等待10分钟。
2024-08-31 21:17:01
322
原创 8G 显存玩转书生大模型 Demo
1.4.2.然后我就问了个问题，问题为“请帮我围绕ABB机器人为主题写一个300字的奇幻故事”，紧接着就是编故事的过程，效果如下，效果还是很惊艳的，也完全没有偏离一个正常人对这个故事的预期。1.3.激活已经配置好的预制环境，最开始没激活提示缺少torch等包，自己配置个环境也是怪费劲的，直接用这个预制的环境就好了。效果如下，系统会经过一顿的自动配置，然后给出一个链接，当然这个时候也是需要做端口映射的。我在VS code中进行调试的，VS code直接帮我做了端口映射，上图中的端口号在如下位置可以查询到。
2024-08-31 12:47:44
246
原创 书生大模型实战营-闯关作业-Python 关卡
请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。4.在root目录下创建一个新的文件夹python_tutorial和一个空的新的文件python_debug_tutorial。5.双击文件python_debug_tutorial.py，将WordCount的函数代码以及验证代码粘贴到该文件中。8.debug效果如下图所示，程序将会停止在断点位置，并且左侧可以查看变量的值。
2024-07-27 01:11:36
319
原创 书生大模型实战营-闯关作业-Linux 基础知识（第1关）
7.查看实际的效果（打开本地机浏览器，输入网址：127.0.0.1:7671）5.通过Powershell运行python程序hello_world.py。4.通过VSCode创建hello_world.py文件并且使用。6.通过Powershell或者VSCode完成端口映射。2.建立SSH链接（通过SSH密钥进行连接）闯关任务：完成SSH连接与端口映射并运行。3.通过VSCode建立SSH链接。1.创建并启动开发机。
2024-07-19 10:27:16
251
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人