第二节 《轻松玩转书生·浦语大模型趣味 Demo》

已于 2024-04-04 16:26:30 修改
阅读量469 收藏 2
点赞数 10
文章标签： 人工智能
于 2024-04-03 20:25:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51956916/article/details/137233525
版权
本文介绍了书生·浦语大模型的角色扮演SIG实战教程，涵盖部署InternLM2-Chat模型进行对话、使用Lagent运行7B模型进行图文创作和视觉问答，以及基础和进阶作业，如生成小故事和下载config文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


本节是《轻松玩转书生·浦语大模型趣味 Demo》的第二节课，包括课堂笔记和课后作业

目录

课堂笔记


书生浦语大模型SIG（Special Interest Groups，特别兴趣小组）包括角色扮演SIG，Agent SIG等，本节课是角色扮演SIG实战教程

在这里插入图片描述

第一个实战任务是部署InternLM2-Chat-1.8B模型进行智能对话

在这里插入图片描述
第二个实战任务是部署八戒-Chat-1.8B模型

在这里插入图片描述
第三个实战任务是使用Lagent运行InternLM2-Chat-7B模型

在这里插入图片描述
第四个实战任务是实践部署浦语-灵笔2模型


图文写作实战

在这里插入图片描述
图片理解实战

在这里插入图片描述

课后作业

基础作业


使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事

在这里插入图片描述

进阶作业

使用 huggingface_hub python 包，下载 InternLM2-Chat-7B 的 config.json 文件到本地


安装huggingface_hub

在这里插入图片描述

执行结果

在这里插入图片描述


config.json文件内容（windows下huggingface_hub 默认下载位置在~/.cache/huggingface）

在这里插入图片描述

使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体


配置基础环境

在这里插入图片描述
运行结果

在这里插入图片描述

浦语·灵笔2 的 图文创作 及 视觉问答 部署

图文写作实战


第一段提示词为：
根据以下标题：“中国水墨画：流动的诗意与东方美学”，创作长文章，字数不少于800字。请结合以下文本素材：
“水墨画是由水和墨调配成不同深浅的墨色所画出的画，是绘画的一种形式，更多时候，水墨画被视为中国传统绘画，也就是国画的代表。也称国画，中国画。墨水画是中国传统画之一。墨水是国画的起源，以笔墨运用的技法基础画成墨水画。线条中锋笔，侧锋笔，顺锋和逆锋，点染，擦，破墨，拨墨的技法。墨于水的变化分为五色。画成作品，题款，盖章。就是完整的墨水画作品。
基本的水墨画，仅有水与墨，黑与白色，但进阶的水墨画，也有工笔花鸟画，色彩缤纷。后者有时也称为彩墨画。在中国画中，以中国画特有的材料之一，墨为主要原料加以清水的多少引为浓墨、淡墨、干墨、湿墨、焦墨等，画出不同浓淡（黑、白、灰）层次。别有一番韵味称为“墨韵”。而形成水墨为主的一种绘画形式。”

运行结果：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
第二段提示词为：

请结合以下文本素材，创作长文章，不少于800字：“油画是由油和颜料调配成不同色彩所画出的画，是绘画的一种形式，更多时候，油画被视为西方传统绘画的代表。油画起源于欧洲，早在古希腊和罗马时期，就已经有了用油调和颜料进行绘画的技艺。但真正意义上的油画是在15世纪初期，由荷兰画家杨·凡·艾克发扬光大的。他以精湛的技艺和独特的表现手法，使油画成为西方绘画的主流。
油画的基本技法包括：线条画、涂抹、晕染、刮刀等。线条画是通过画笔的笔触和线条来表现物象的轮廓和结构；涂抹则是通过画笔的平涂和渲染来表现物象的质感和光影；晕染是通过色彩的渐变和混合来表现物象的空间感和立体感；刮刀则是通过刀刃的刮、擦、堆等手法来表现物象的肌理和厚重感。
油画的色彩丰富多样，既有明亮的色调，也有深沉的色调。色彩的运用是油画的灵魂，画家通过色彩的对比、搭配和调和，可以表现出不同的情感和氛围。在油画中，色彩的变化分为冷暖、明暗、纯度等。画成作品，题款，盖章，就是完整的油画作品。
基本的油画，仅有油与颜料，但进阶的油画，也有细腻的肖像画，生动的人物画，壮丽的风景画等。后者有时也称为彩油画。在油画中，以油画特有的材料之一，油为主要原料加以颜料的多少引为厚涂、薄涂、干画、湿画等，画出不同浓淡（黑、白、灰）层次。别有一番韵味称为“油韵”。而形成油画为主的一种绘画形式。
油画的发展历程中，涌现出了许多著名的画家和流派。如文艺复兴时期的达芬奇、米开朗基罗，巴洛克时期的鲁本斯、伦勃朗，印象派时期的莫奈、雷诺阿等。他们的作品各具特色，为油画艺术的发展做出了巨大贡献。
随着时代的发展，油画也在不断创新和变革。现代油画更加注重画面的构成和色彩的表达，强调画家的个性和情感。画家们通过丰富的想象力和创造力，使油画艺术更加多元化和个性化。
总之，油画是一种具有深厚文化底蕴和独特艺术魅力的绘画形式。它以丰富的色彩、多样的技法和广阔的表现空间，吸引了无数画家和艺术爱好者。相信在未来的发展中，油画艺术一定能够不断创新，为我们带来更多的视觉盛宴和心灵震撼。”

创作结果如下：

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

图片理解实战


图片1

在这里插入图片描述
图片2

在这里插入图片描述

参考文献


最后，感谢官方提供的资源

本小节官方文字教程地址: 文字教程
视频教程地址:视频教程

RT-DETR训练自己的数据集（从代码下载到实例测试）
Limiiiing的博客
09-14 1万+
在Windows10上配置CUDA环境教程是百度提出的一种实时目标检测模型。RT-DETR采用了与DETR相同的编码器和解码器结构，但对其进行了大量的优化，在保持较高检测精度的同时，实现了实时目标检测，为目标检测领域提供了一种新的有效解决方案，具有广泛的应用前景，如自动驾驶、智能监控、机器人等领域。以上是RT-DETR官方的论文和代码，详细介绍了RT-DETR的构成和实现。在YOLOv10中也实现了RT-DETR的代码，所以本文使用YOLOv10的项目文件进行RT-DETR的训练和测试。YOLOv10。
RT-DETR改进策略【Neck】| SEAM：分离和增强注意模块，解决复杂场景下的小目标遮挡问题
最新发布
Limiiiing的博客
04-17 302
本文记录的是利用 SEAM 模块优化 RT-DETR 的目标检测网络模型。的设计出发点在于解决复杂场景下的人脸遮挡问题，相当于是小目标被其他物体部分遮挡时，传统方法因特征缺失导致检测精度下降的问题。该模块通过增强未遮挡区域的特征响应并补偿被遮挡区域的信息损失，提升模型对遮挡小目标的检测能力。YOLO-FaceV2: A Scale and Occlusion Aware Face DetectorSEAM模块（Separated and Enhancement Attention Module）的设计出发点
RT-DETR代码详解（官方pytorch版）——参数配置（1）
小小老大MUTA的博客
01-07 6169
RT-DETR代码详解（官方pytorch版）参数配置
RT-DETR论文解读与代码
qq_52053775的博客
06-15 5642
目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构
Limiiiing的博客
12-03 467
一、本文介绍 本文记录的是基于RepVit的RT-DETR轻量化改进方法研究。RepVit的网络结构借鉴ViT的设计理念，通过分离的token mixe和channel mixer减少推理时的计算和内存成本，同时减少扩展比率并增加宽度，降低延迟，并通过加倍通道来弥补参数大幅减少的问题，提高了准确性。本文在替换骨干网络中配置了原论文中的repvit_m0_9、repvit_m1_0、repvit_m1_1、repvit_m1_5和repvit_m2_3五种模型，以满足不同的需求。 模型 参数量 计算量
RT-DETR模型源码解析
weixin_58429528的博客
08-07 1024
"""目的是将特定的函数（如 to(), cpu(), cuda(), half(), float() 等）应用到模型的张量上，但这些张量不能是模型的参数或已注册的缓冲区。'''举个例子，如果args = {'imgsz': 416, 'data': 'coco128.yaml', 'task': 'detect', 'batch_size': 8}，这里有一个明显的错误，'grfc' 很可能是一个拼写错误，应该是 'grpc'，这是一种常用于微服务架构的通信协议。
RT-DETR部分源码解析
weixin_58429528的博客
08-07 804
RT-DETR源码解析
RT-DETR详解之 Decoder 层
pengxiang1998的博客
06-11 3715
在上一篇博客中，博主已经讲解了如何利用选择出好的特征，接下来便要将这些特征输入到Decoder中进行解码，需要注意的是，在RT-DETR的Encoder中，使用的是标准的自注意力计算方法，而在其Decoder中，则使用的是可变形自注意力（deformable attention)，可变形自注意力能够大幅的降低计算量，同时该部分还使用到了CUDA算子，能够加快运行速度，当然，这个可变形自注意力计算并非是RT-DETR的创新点，但其作用却是极大，在DINO，DN-Deformable-DETR中都有使用。
RT-DETR推理详解及部署实现
周同学的博客
11-12 2万+
RT-DETR推理详解及部署实现
详解RT-DETR网络结构/数据集获取/环境搭建/训练/推理/验证/导出/部署
热门推荐
Snu77的博客
11-27 4万+
本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。
RT-DETR改进有效系列目录 | 包含卷积、主干、RepC3、注意力机制、Neck上百种创新机制
Snu77的博客
01-29 2万+
Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。
目标检测+PaddleDetection+rt-detr运行代码
06-28
该代码是百度的PaddleDetection代码，包含rt-detr配置文件和相关代码，可以直接用来测试
RT-DETR模型结构详解，在Ultralytics项目中配置rtdetr-resnet18、rtdetr-resnet34
Limiiiing的博客
01-21 1407
RT-DETR是一种实时端到端的目标检测模型，主要由 骨干网络、高效混合编码器和 带有辅助预测头的 Transformer 解码器组成。本文对其进行了详细分析，并在项目中配置了结构。
RT-DETR
weixin_65802479的博客
10-18 1170
RT-DETR 的网络架构是通过结合 CNN 和 Transformer 的优势，优化了目标检测流程，能够高效、准确地完成目标检测任务。其自注意力机制和特征融合技术使得模型能够处理复杂场景中的物体检测。
目标检测算法之RT-DETR
weixin_52862386的博客
06-27 3099
对RT-DETR的encoder部分，整体看下来像是yolo的backbone+neck。RT-DETR的核心还是在增速上，所以这里它的优化思想是值得借鉴的，但是yolo结构跟DETR结构之间的界限越来越模糊了。对query的优化上，只是做了对齐，使其选择的query更加精确。整体而言模型的创新不大。虽然DETR提倡的是NMS-Free，但是对于某些对精装度要求较高的任务中，如果阈值设置过低，导致最后得出的框过多，仍然需要借助NMS的方法去改进。设置过高则存在丢框的问题。
RT-DETR代码详解（官方pytorch版）——模型加载（2）
小小老大MUTA的博客
01-08 1652
找到在RT-DETR中，模型和数据集是怎么传入train_ine_epoch中进行训练的
[转]RT-DETR推理详解及部署实现-CSDN博客
chinagudujian的专栏
01-04 4367
是由 Baidu 提出的基于 transformer 的端到端实时检测器，本篇文章主要分享博主在实现 RT-DETR 推理和部署时做的一些尝试，不涉及任何的原理性分析。若有问题欢迎各位看官批评指正😄博主在这里针对 RT-DETR 的预处理和后处理做了简单分析，同时与大家分享了 C++ 上的实现流程，目的是帮大家理清思路，更好的完成后续的部署工作😄。
RT-DETR：端到端的实时Transformer检测模型（目标检测+跟踪）
pengxiang1998的博客
05-31 8116
博主一直一来做的都是基于的目标检测领域，相较于基于卷积的目标检测方法，如YOLO等，其检测速度一直为人诟病。终于，RT-DETR横空出世，在取得高精度的同时，检测速度也大幅提升。那么RT-DETR是如何做到的呢？在研究RT-DETR的改进前，我们先来了解下DETR类目标检测方法的发展历程吧DETRNMSDAB-DETRDETR100DETRDAB-DETRH-DETR然而，上述方法尽管已经大幅提升了检测精度，降低了计算复杂度，但其受本身高计算复杂度的制约，DETR。
RT-DETR 基于Transformer的目标检测模型介绍及微调训练
小毕超博客
11-03 3482
RT-DETR是基于Transformer的目标检测模型,DETR的基础上采用了高效的混合编码器和IoU感知,有效降低了计算成本、提高了检测精度。
rt-detrv3网络结构
03-16
### RT-DETRv3 网络结构分析 RT-DETRv3 是一种基于 Transformer 的实时端到端目标检测算法，其核心在于通过引入分层密集正监督方法以及一系列创新性的训练策略，解决了传统 DETR 模型收敛慢和解码器训练不足的问题。以下是 RT-DETRv3 的主要网络结构特点： #### 1. **基于 CNN 的辅助分支** 为了增强编码器的特征表示能力，RT-DETRv3 引入了一个基于卷积神经网络 (CNN) 的辅助分支[^3]。这一分支提供了密集的监督信号，能够与原始解码器协同工作，从而提升整体性能。 ```python class AuxiliaryBranch(nn.Module): def __init__(self, in_channels, out_channels): super(AuxiliaryBranch, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn = nn.BatchNorm2d(out_channels) def forward(self, x): return F.relu(self.bn(self.conv(x))) ``` 此部分的设计灵感来源于传统的 CNN 架构，例如 YOLO 系列中的 CSPNet 和 PAN 结构[^2]，这些技术被用来优化特征提取效率并减少计算开销。 --- #### 2. **自注意力扰动学习策略** 为解决解码器训练不足的问题，RT-DETRv3 提出了一种名为 *self-att 扰动* 的新学习策略。这种策略通过对多个查询组中阳性样本的标签分配进行多样化处理，有效增加了阳例的数量，进而提高了模型的学习能力和泛化性能。 具体实现方式是在训练过程中动态调整注意力权重分布，确保更多的高质量查询可以与真实标注 (Ground Truth) 进行匹配。 --- #### 3. **共享权重解编码器分支** 除了上述改进外，RT-DETRv3 还引入了一个共享权重的解编码器分支，专门用于提供密集的正向监督信号。这一设计不仅简化了模型架构，还显著降低了参数量和推理时间，使其更适合实时应用需求。 ```python class SharedDecoderEncoder(nn.Module): def __init__(self, d_model, nhead, num_layers): super(SharedDecoderEncoder, self).__init__() decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_layers) def forward(self, tgt, memory): return self.decoder(tgt=tgt, memory=memory) ``` 通过这种方式，RT-DETRv3 实现了高效的目标检测流程，在保持高精度的同时大幅缩短了推理延迟。 --- #### 4. **与其他模型的关系** 值得一提的是，RT-DETRv3 并未完全抛弃经典的 CNN 技术，而是将其与 Transformer 结合起来形成混合架构[^4]。例如，它采用了 YOLO 系列中的 RepNCSP 模块替代冗余的多尺度自注意力层，从而减少了不必要的计算负担。 此外，RT-DETRv3 还借鉴了 DETR 的一对一匹配策略，并在此基础上进行了优化，进一步提升了小目标检测的能力。 --- ### 总结 综上所述，RT-DETRv3 的网络结构主要包括以下几个关键组件：基于 CNN 的辅助分支、自注意力扰动学习策略、共享权重解编码器分支以及混合编码器设计。这些技术创新共同推动了实时目标检测领域的发展，使其在复杂场景下的表现更加出色。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值