![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
openmmlab系列
文章平均质量分 74
不是吧这都有重名
所有灿烂时刻,最终都将以独行来偿还。
展开
-
[书生·浦语大模型实战营]——LMDeploy 量化部署 LLM 实践
创建新的开发机,选择;选择10% A100*1GPU;点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像,新版本的lmdeploy会出现兼容性问题。其他和之前一样,不赘述。原创 2024-06-09 16:36:23 · 399 阅读 · 0 评论 -
[书生·浦语大模型实战营]——使用 OpenCompass 评测
使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能。接下来,将展示 OpenCompass 的基础用法,展示书生浦语在 C-Eval 基准任务上的评估。它们的配置文件可以在 configs/eval_demo.py 中找到。原创 2024-06-09 15:51:11 · 313 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第七节 OpenCompass 大模型评测实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0),用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 70+ 个数据集约 40万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测多样化评测范式:支持零样本小样本及思维链评测。原创 2024-06-05 23:17:43 · 981 阅读 · 0 评论 -
[书生·浦语大模型实战营]——Lagent & AgentLego 智能体应用搭建实现效果
4.使用 Lagent 或 AgentLego 实现自定义工具并完成调用,并在作业中上传截图。3.完成 AgentLego WebUI 使用,并在作业中上传截图。1.完成 Lagent Web Demo 使用,并在作业中上传截图。2.完成 AgentLego 直接使用部分,并在作业中上传截图。原创 2024-06-04 20:51:09 · 224 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第六节 Lagent & AgentLego 智能体应用搭建
接下来将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。继承 BaseAction 类实现简单工具的 run 方法;或者实现工具包内每个子工具的功能简单工具的 run 方法可选被tool_api 装饰;工具包内每个子工具的功能都需要被 tool_api 装饰下面实现一个调用和风天气 API 的工具以完成实时天气查询的功能。原创 2024-06-04 20:27:44 · 1112 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第五节 LMDeploy 量化部署 LLM 实践
创建新的开发机,选择;选择10% A100*1GPU;点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像,新版本的lmdeploy会出现兼容性问题。其他和之前一样,不赘述。原创 2024-06-01 15:52:15 · 920 阅读 · 0 评论 -
[书生·浦语大模型实战营]——训练自己的小助手认知+应用部署到 OpenXLab+复现多模态微调
应用部署在OpenXLab(比上次部署方便不少,文档写的更清楚了,棒棒),链接如下。原创 2024-06-01 12:33:33 · 229 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第四节:XTuner 微调 LLM:1.8B、多模态、Agent
XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。🤓 傻瓜化: 以 配置文件 的形式封装了大部分微调场景,0基础的非专业人员也能一键开始微调。🍃 轻量级: 对于 7B参数量的LLM,微调所需的最小显存仅为 8GBfill:#333;color:#333;color:#333;fill:none;输入文本文本Embedding模型文本向量L L M输出文本Haotian Liu等使用GPT-4V对图像数据生成描述,以此构建出大量que。原创 2024-05-31 23:11:38 · 729 阅读 · 0 评论 -
[书生·浦语大模型实战营]——在茴香豆 Web 版中创建自己领域的知识问答助手
这里类似于注册账号,你输入知识库的名称以及密码,然后它就会创建一个知识库,之后你就可以用名称和密码来管理你的知识库了。安装后可以看到如下界面,按照指示来,将自己的知识库的地址粘贴到框中,然后开启茴香豆,并保持其后台运行就可以。当然你也可以通过开启网络搜索,通过添加Seroer APIkey来使用网络搜索,丰富模型的回答。由于我是两个微信来回切着问的,可能回答有点混乱,但是效果还是不错的,反应速度也还可以。进入之后你可以看到如下界面,点击查看或上传就可以上传自己的文件。下载安装包,安装到手机。原创 2024-05-29 00:54:50 · 358 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第三节:茴香豆:搭建你的 RAG 智能助理
通过与用户输入相关的信息片段,并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供的回答、推理、实现。RAG 能够让基础模型实现非参数知识更新,无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用,就应用了 RAG 技术,可以快速、高效的搭建。原创 2024-05-26 13:58:33 · 1056 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第二节:课后作业
2.使用书生·浦语 Web 和浦语对话,和书生·浦语对话,并找到书生·浦语 1 处表现不佳的案例(比如指令遵循表现不佳的案例),提交到问卷。1.使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事。原创 2024-05-25 18:58:13 · 244 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第二节:轻松玩转书生·浦语大模型趣味 Demo
八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果,进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一,八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力,同时低部署条件能够为后续工作降低算力门槛。Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。原创 2024-05-25 16:18:27 · 729 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第四天 深度学习预训练与MMPretrain
MMPretrain是一个全新升级(MMPretrain originates from MMClassification and MMSelfSup )的预训练开源算法框架,旨在提供各种强大的预训练主干网络,并支持了不同的预训练策略。主要功能:(1):包括主干模型、自监督学习算法、多模态学习算法(2):COCO、ImageNet等常见数据集(3):优化器与学习率策略、数据增强策略(4)原创 2023-06-06 10:55:32 · 297 阅读 · 1 评论 -
【OpenMMLab AI实战营二期笔记】第二天 人体姿态估计与MMPose
从给定的图像中识别人脸、手部、身体等关键点输入:图像输出:所有关键点的像素坐标。原创 2023-06-02 22:02:22 · 255 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第六天 目标检测和MMDetection
(1)人脸识别(2)智慧城市(3)自动驾驶(4)下游视觉任务:场景文字识别、人体姿态估计框泛指图像上的矩形框,边界横平竖直。边界框通常指紧密包围感兴趣物体的框,检测任务要求为图中出现的每个物体预测一个边界框定义:两矩形框交集面积与并集面积之比,是矩形框重合程度的衡量指标。定义:神经网络中,一个神经元能看到的原图的区域感受野的中心:感受野的步长(=降采样率=特征图尺寸的缩减倍数):感受野一般很大,但不同像素对激活值的贡献是不同的,也就是说激活值对感受野内的像素求导数,大小不同。影响比较大的像素通原创 2023-06-08 23:28:45 · 667 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第九天 MMSegmentation代码课
下载整理好的数据集;可视化探索数据集;准备config配置文件;MMSef训练语义分割模型;可视化训练日志;用训练得到的模型预测;测试集性能评估;原创 2023-06-14 21:31:22 · 615 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第三天 MMPose代码教程
代码教程地址:github.com/TommyZihao/MMPose_Tutorials。原创 2023-06-03 16:40:06 · 371 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第八天 语义分割与MMSegmentation
将图像按照物体的类别分割成不同的区域,相当于对每个像素进行分类。无人驾驶汽车人像分割实时替换视频背景智能遥感分辨地表物体的类别,通过右侧分割之后的图像可以看到,红色的部分属于湖泊河流。通过智能遥感能够监测不同季节地表水域的变化,从而辅助农业生产,以及旱灾洪灾的预测等等。医疗影像分析语义分割 vs 实例分割 vs 全景分割先验知识:物体内部颜色相近,物体交界颜色变化存在的问题:(1)先验知识不完全准确;(2)不同物体颜色可能相近,物体内也会包含多种颜色。存在的问题:效率低下,原创 2023-06-13 18:25:03 · 534 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第一天 OpenMMLab介绍
行业趋势:由统一的深度学习框架(TensorFlow、Pytorch、PaddlePaddle)向统一的算法框架和生态(OpenMMLab)过渡。OpenMMLab的定位:产学研用四位一体的开源算法体系以下一图以蔽之。原创 2023-06-01 23:01:06 · 89 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第七天 MMDetection代码课
本教程采用 RTMDet 进行演示,在开始自定义配置文件前,先来了解下 RTMDet 算法。其模型架构图如上所示。RTMDet 是一个高性能低延时的检测算法,目前已经实现了目标检测、实例分割和旋转框检测任务。为了获得更高效的模型架构,MMDetection 探索了一种具有骨干和 Neck 兼容容量的架构,由一个基本的构建块构成,其中包含大核深度卷积。MMDetection 进一步在动态标签分配中计算匹配成本时引入软标签,以提高准确性。原创 2023-06-10 14:27:02 · 369 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第五天 MMPretrain代码课
从kaggle上找到一个类似的数据集,下载地址:https://www.kaggle.com/datasets/esuarez7/cats_dogs_dataset/download?预训练权重的下载地址:https://download.openmmlab.com/mmclassification/v0/resnet/resnet18_8xb32_in1k_20210831-fbbb1da6.pth。(4)runtime(包括日志配置、权重保存配置、随机性可指定随机种子)以下是完整的配置文件中的内容。原创 2023-06-07 17:33:07 · 349 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第十一天 玩转AIGC神器MMagic代码教程
【代码】【OpenMMLab AI实战营二期笔记】第十一天 玩转AIGC神器MMagic代码教程。原创 2023-06-16 23:08:38 · 645 阅读 · 0 评论 -
[书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调
在未经过微调的pretrained LLM中,模型只会尽量去拟合你的输入,也就是说模型并没有意识到你在提问,因此需要微调来修正。1.安装2.挑选配置模板3.一键训练Config的命名规则4.模型对话Float 16模型对话或4bit模型对话加载Adapter模型对话5.工具类模型对话XTuner还支持工具类模型的对话。原创 2024-01-14 14:05:37 · 1030 阅读 · 0 评论 -
【OpenMMLab AI实战营二期笔记】第十天 底层视觉与MMEditing
对抗生成网络是一种基于神经网络的无监督学习模型,可以建模数据的分布,并通过采样生成新数据。效果。原创 2023-06-15 17:38:30 · 719 阅读 · 0 评论 -
[书生·浦语大模型实战营]——基于 InternLM 和 LangChain 搭建你的知识库
llm.predict("你是谁")构建检索问答链,还需要构建一个 Prompt Template,该 Template 其实基于一个带变量的字符串,在检索之后,LangChain 会将检索到的相关文档片段填入到 Template 的变量中,从而实现带知识的 Prompt 构建。from langchain . prompts import PromptTemplate # 我们所构造的 Prompt 模板 template = """使用以下上下文来回答用户的问题。如果你不知道答案,就说你不知道。原创 2024-01-09 17:30:20 · 1106 阅读 · 0 评论 -
[书生·浦语大模型实战营]——轻松玩转书生·浦语大模型趣味 Demo
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练,并且拥有数十亿甚至数千亿个参数。原创 2024-01-06 16:38:03 · 529 阅读 · 0 评论 -
[书生·浦语大模型实战营]——第一节:书生·浦语大模型全链路开源体系and InternLM2 技术报告笔记
应用例子:智能客服/个人助手/行业应用实现流程:开源开放体系:价值观对齐这个挺有意思嗷!大语言模型的下游应用中,增量续训和有监督微调是经常会用到的两种方式(1)增量续训使用场景:让基座模型学习到一些新知识,如某个垂类领域知识(垂类领域表示某个行业的某一部分,细分产业)训练数据:文章、数据、代码等(2)有监督微调使用场景:让模型学会理解和遵循各种指令,或者注入少量领域知识训练数据:高质量的对话、问答数据原创 2024-01-04 00:00:10 · 592 阅读 · 0 评论 -
openmmlab系列可视化训练过程
在openmmlab系列中使用tensorboard可视化训练过程原创 2023-02-02 23:23:25 · 267 阅读 · 0 评论