- 博客(116)
- 收藏
- 关注
RSS订阅原创 LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
2024-04-26 17:26:59
1157
原创 【全网首发】Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！同时开源社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-04-23 17:27:15
1571
1
原创 Agent-FLAN 技术报告——社区翻译版
Agent-FLAN 技术报告于近日正式对外发布，不少社区大佬自发地参与到报告的翻译与解读中来。本文为社区用户翻译的 Agent-FLAN 技术报告原文，分享给大家~论文地址：https://arxiv.org/abs/2403.12881Agent-FLAN的代码已开源至：（欢迎点亮小星星）https://github.com/InternLM/Agent-FLAN 如果你对 Agent-FLAN 的技术细节感到好奇，或者渴望与其他技术爱好者进行深入的交流和讨论，不要错过本周六晚上 8 点举行的圆会议
2024-04-19 14:57:30
629
原创 千亿参数，百万序列 | XTuner 超长上下文训练方案
尽管开源模型支持的序列长度不断被刷新，但主流的显存优化策略（如 ZeRO 系列）却不足以解决大模型、长序列训练问题。如图 1 所示，使用 ZeRO-3 显存优化策略训练超长序列时，单纯增加 GPU 数量无法解决超长序列带来的 OOM 问题；这是因为，ZeRO-3 只能优化模型参数和优化器状态占用的显存，超长训列训练过程中的显存开销主要来自激活值，而非模型参数和优化器状态。图1 不同序列长度时，使用 ZeRO-3 训练 128k 上下文 yi-34B 模型的训练情况。
2024-04-16 15:44:45
708
1
原创 大模型初探者到登上领奖台，看优秀学员郭一凡如何在实战营走花路！
书生·浦语大模型实战营第二期正在如火如荼地进行中，今天，让我们一起走进首期实战营优秀学员郭一凡的故事，故事主题关乎“成长”。
2024-04-11 15:10:57
913
原创 InternLM2 技术报告——社区翻译版
大型语言模型（LLMs）如ChatGPT和GPT-4的发展引发了关于通用人工智能（AGI）来临的讨论。然而，将这样的进步应用到开源模型中一直颇具挑战。本文介绍InternLM2，一个开源的大语言模型，它在6个维度和30个基准的全面评估中超越了其前身，特别是在长序列建模和开放性主观评估方面，通过创新的预训练和优化技术实现了这一突破。InternLM2详细阐述了预训练过程中各类数据的准备，包括文本、代码和长文本数据。
2024-04-09 16:20:22
974
原创 轻松玩转书生·浦语大模型趣味 Demo
还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?操作文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md。书生·浦语大模型角色扮演 SIG 小组长那路带来《轻松书生·浦语大模型趣味 Demo》的实战课程。玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo。觉得不错，欢迎 Star~
2024-04-01 18:57:03
198
原创 书生·浦语大模型全链路开源体系
由上海人工智能实验室青年科学家陈恺带来《书生·浦语大模型全链路开源体系》课程的分享！https://github.com/InternLM/InternLM/还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?书生·浦语大模型全链路开源体系。觉得不错欢迎 Star 哟~
2024-04-01 18:55:41
117
原创 6行代码，1行命令！轻松实现多模态（视觉）模型离线推理 & 在线服务
经过一段时间的迭代，LMDeploy 在 VLM 推理和服务方面，发生了翻天覆地的变化，于 v0.2.6 版本中正式发布。和去年相比，已有云泥之别，可以接受大家的检阅啦。
2024-03-28 17:23:38
713
原创 LLM问答助手茴香豆发布web版，零开发集成飞书&微信群
LLM问答助手茴香豆发布web版，支持自定义知识库、更新正反例、开关搜索，零开发集成微信&飞书群“茴香豆”是一个基于 LLM 的领域知识助手。特点：- 应对群聊这类复杂场景，解答用户问题的同时，不会消息泛滥- 提出一套解答技术问题的算法 pipeline- 部署成本低，只需要 LLM 模型满足 4 个 trait 即可解答大部分用户问题
2024-03-27 15:43:12
860
原创 书生·浦语大模型实战营第二期正式启动，带你从零搭建 RAG、多模态和智能体应用
书生·浦语大模型实战营，助力开发者熟悉大模型研发及应用全链路，迈向人工智能领域的新高峰！快来加入我们，一起探索大模型技术的无限可能吧！期待和你一起组建最强大模型战队！
2024-03-15 14:13:25
760
原创 “百模大战”大模型哪家强？开源的全面评测来了！
最近，一则推送在网上火了：《世界人工智能大会上的大模型都在这了，让你一次看个够》 小编兴奋地点开文章，好家伙，整篇文章没有字，只有满眼的 “大模型”。小编顶着昏花的老眼，手动数了一下，在 WAIC 大会上发布的大模型，至少有 58 个之多。🤦而根据今年的《中国人工智能大模型地图研究报告》，国内现在已经发布了多达 79 个参数 10 亿规模以上的大模型。可谓是百花齐放，各有千秋。在各家对各自模型的宣传中，也都展示了自己模型强悍的一面，让不少围观者不禁为之振奋，直呼牛哇。
2023-09-08 10:54:50
1106
转载 上海AI实验室与商汤科技等发布“书生·浦语”大语言模型
方面，“书生·浦语”在HumanEval和MBPP这两项最具代表性的考评中，分别取得28.1和41.4的得分（其中经过在代码领域的微调后，在HumanEval上的得分可以提升至45.7），明显领先于PaLM-540B（得分为 26.2和36.8）与LLaMA-65B（得分为23.7和37.7）。细分科目结果如下表所示。此外，研究人员还对“书生·浦语”的安全性进行评测，在TruthfulQA（主要评价回答的事实准确性）以及CrowS-Pairs（主要评价回答是否含有偏见）上，“书生·浦语”均达到领先水平。
2023-06-07 19:31:12
523
原创 深度学习刷 SOTA 有哪些 trick？
因此这一方法一般只能放在残差结构中，将网络输出中的一部分样本直接抛弃，再与 shortcut 相加，从而实现部分样本 “跳过” 这一残差结构的效果。Cosine 学习率衰减，在近期的图像分类任务中是最主流的学习率衰减方法。虽然现在的优化器，如 Adam 拥有参数自适应学习率的能力，但通过衰减学习率限制优化器的优化步幅往往仍然是必要的。这是一种组合数据增强手段，相比传统数据增强的随机裁剪、随机翻转，这种方法设置了一个包含各种数据增强变换的集合，并对每个样本随机应用其中若干个增强，大大扩展了增强后的图像空间。
2023-02-13 11:17:34
1195
1
原创 目标检测、实例分割、旋转框样样精通！详解高性能检测算法 RTMDet
通过在模型结构的基本单元引入大 kernel 深度可分离卷积增大感受野，并平衡不同分辨率层级间以及 backbone 和 neck 间的计算量、参数量平衡，改进标签分配以及数据增强策略，RTMDet 不论是在目标检测任务上，还是在实例分割以及旋转目标检测任务上，均取得了优异的性能。我们希望我们探索出的这些改进方案能够对设计实时的目标检测模型有所启发，也希望我们在工程及算法上的优化能够在实际的工业场景中有所应用。
2023-01-13 19:35:39
3146
1
原创 YOLOv8 深度详解！一文看懂，快速上手
本文详细分析和总结了最新的 YOLOv8 算法，从整体设计到模型结构、Loss 计算、训练数据增强、训练策略和推理过程进行了详细的说明，并提供了大量的示意图供大家方便理解。
2023-01-12 19:38:55
29359
11
原创 满足你一切需求的 MMYOLO/MMDet 可视化 (一)
可视化在深度学习时代算是核心需求，借助可视化功能，研究者可以快速定位分析模型以及排查问题。在 OpenMMLab 2.0 时代，MMEngine 对常用的可视化需求进行了设计和实现，其具备如下功能：
2023-01-09 13:40:25
3933
5
原创 MMYOLO 自定义数据集从标注到部署保姆级教程
本文从零开始教你如何基于 MMYOLO 训练一个可部署的检测模型，提供了 11 个完整步骤。用户在面对自定义数据集时候也可以按照这个步骤来逐条确认检查。如果你对本文有任何好的建议，或者对 MMYOLO 有不同看法，欢迎留言反馈，或者直接联系微信小助手。
2023-01-04 19:27:01
2811
原创 PyTorch 2.0 之 Dynamo: 窥探加速背后的真相
PyTorch eager 模式极佳的编程体验让他在深度学习学术圈内几乎有了“一统天下”之势。但是相比于 trace 模式，eager 模式的缺点同样明显，即没有办法简单地通过代码获取模型的图结构，导致模型导出、算子融合优化、模型量化等工作变得异常困难。
2022-12-19 15:02:25
3564
1
原创 大比分领先！ACCV 2022 国际细粒度图像分析挑战赛冠军方案
在刚刚结束的 ACCV 2022 国际细粒度图像分析挑战赛中，我们团队在 **133** 支参赛队伍中脱颖而出，在 **Leadboard-B** 上以 2.5 的绝对优势取得冠军。
2022-12-13 22:05:38
1207
原创 自监督学习系列（四）：基于蒸馏的图片掩码学习
(对比学习，图片掩码学习其实也可以归属于基于辅助任务的自监督学习，由于这两类是目前最流行的研究方向，所以我们在此进行这样的区分)。
2022-12-12 19:27:43
1219
原创 Python 基于参数类型提示的多分派
在日常代码的编写中使用多分派技术，可以**避免大量重复的类型判断语句，让代码更加简单易懂，不仅如此，还可以让代码拥有更加灵活的扩展能力。** 本文将给大家主要介绍在 Python 中基于参数类型提示的多分派机制，快一起来学习下吧~
2022-12-09 14:20:32
837
原创 PyTorch 2.0 重磅发布：一行代码提速 30%
在今天的 PyTorch 2022 开发者大会上，PyTorch 团队发布了一个新特性`torch.compile`，这个新特性将 PyTorch 的性能推向了新高度，并开始将 PyTorch 的部分实现从 C++ 中迁移到 Python 中。他们相信这是 PyTorch 一个实质性的新方向--因此称之为 **PyTorch 2.0**。`torch.compile` 是一个完全附加的（和可选的）功能，因此 **PyTorch 2.0 100% 向后兼容，** 因此基于 PyTorch 1.x 开发的项目
2022-12-03 14:19:19
3754
2
原创 知识蒸馏系列（一）：三类基础蒸馏算法
知识蒸馏（Knowledge Distillation，简记为 KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的 ensemble），在不改变学生模型结构的情况下提高其性能。
2022-11-30 10:52:25
2240
1
原创 DN-DETR: 把去噪训练引入到 DETR 中打辅助，从而加速收敛
本文介绍将为大家介绍一个目标检测模型 —— DN-DETR，其最大亮点是在训练过程中引入了去噪（DeNoising）任务，这也是 DN-DETR 取名之由来。该任务与原始 DETR 的匈牙利匹配过程是相互独立的，相当于是个 shortcut，“绕”过了后者。最终，DN-DETR 在 DAB-DETR 的基础上进一步加速了收敛，对于 COCO 数据集，仅用 12 个 epochs 就可以玩得很漂亮。
2022-11-27 21:53:04
765
1
原创 MMRotate 全面升级，新增 BoxType 设计
MMRotate 是一个基于 PyTorch 和 MMDetection 的开源旋转框目标检测工具箱。它将目标检测从水平框扩展到旋转框，为场景文字、遥感影像、自动驾驶等领域的应用打下了基础，为学术界和产业界提供了高效强大的基准模型。
2022-11-21 23:26:56
1147
1
原创 模型压缩算法库 MMRazor 全面升级，更灵活、更自动
MMRazor 是 OpenMMLab 开源项目里模型压缩领域的算法工具箱，目前支持了知识蒸馏、模型通道剪枝和模型结构搜索，模型量化部分正在开发中。
2022-11-18 22:40:20
1823
1
原创 MMPose 1.0：迈向更优雅、更强大的姿态估计研发和应用框架
MMPose 作为 OpenMMLab 系列中的姿态估计算法库，自 2020 年发布以来，经过 2 年的不断迭代打磨，已经成为姿态估计领域覆盖算法最多，功能最全的开源算法库之一。MMPose 的成长离不开来自社区同学的宝贵意见和热情帮助，每个 star 和 PR 都为 MMPose 注入了活力。同时，我们也欣喜地看到 MMPose 正成为越来越多顶会论文、项目产品背后的有力工具。
2022-11-14 16:55:56
1055
1
原创 PyTorch1.13 亮点一览，TorchEval、MultiPy 、TorchSnapshot 新库大解读
近日，PyTorch 发布了 PyTorch 1.13 版本，本次新版发布主要包含以下亮点：
2022-11-07 14:44:09
1410
原创 MMEval：统一开放的跨框架算法评测库
OpenMMLab 是深度学习时代最完整的计算机视觉开源算法体系，目前已涵盖 30+ 研究领域，这些研究领域都有各自任务的评测指标。我们希望能够将这些评测指标统一起来，以更加易用和开放的方式服务于更多用户。因此，我们在 MMEngine 中的评测指标模块基础上，将原 OpenMMLab 各算法库的评测指标集成进来，开发了一个**统一开放的跨框架算法评测库：MMEval**
2022-11-02 23:49:27
306
原创 统一、灵活、全面，语义分割开源库 MMSegmentation 全面升级
MMSegmentation 是 OpenMMLab 开源项目里的语义分割领域的算法工具箱，它实现了许多高质量语义分割算法模型和数据集，也为语义分割任务提供了统一的框架和基准测试。
2022-10-31 21:13:01
1901
原创 简洁易用，更多算法，快来开箱新一代视频目标感知开源工具箱
MMTracking 是 OpenMMLab 生态面向视频物体感知的开源算法库，主要涵盖了计算机视觉领域丰富的视频物体感知任务，比如视频目标检测、多目标跟踪、视频实例分割、单目标跟踪。
2022-10-27 19:24:00
714
原创 MMDetection3D 1.1：统一易用的 3D 感知平台
自从两年前 MMDetection3D 发布以来，我们收到了很多用户的反馈，其中有不少有价值的建议，同时也有很多吐槽（当然我们非常欢迎大家来吐槽），也有很多社区用户参与到我们代码库的完善中，我们也非常高兴地看到越来越多的自动驾驶团队将 MMDetection3D 用在实际业务中，越来越多的研究人员用 MMDetection3D 做研究发 paper ，而这次发布的 MMDetection3D 1.1 则是我们尝试探索下一代 3D 通用感知的第一步。
2022-10-26 11:57:49
1499
原创 社区协作，简洁易用，快来开箱新一代 YOLO 系列开源库
MMYOLO 致力于在复现诸多 YOLO 算法的基础上，提供公平统一的算法评测流程，支持多任务易扩展的高效训练推理引擎，提供丰富的从入门到进阶的教程文档，我们希望将其打造成 YOLO 系列核心热门开源库以及工业应用核心库。
2022-10-24 09:37:45
1994
1
原创 MMDet 3.0：目标检测新基准与前沿
** 基于全新的训练引擎 MMEngine，MMDetection 3.0 和其它 OpenMMLab 2.0 的算法库彻底拉通了底层设计，并采用了统一的细粒度抽象与接口，使得训练流程更加灵活，架构更具扩展性。在此基础上，MMDetection 3.0 对模型的各个组件接口也进行了重构和简化，以支撑更加丰富的检测算法和下游应用。MMDetection 3.0 的运行速度和基准精度也得到了进一步优化，达到了现有框架的最优水平。另外，我们还研发了高精度模型 RTMDet，并和热情的社区开发者一起合作，开发了 M
2022-10-21 10:04:06
2775
1
原创 可扩展易配置，快来揭秘新一代自监督学习开源框架
2022 年 9 月，我们发布了MMSelfSup v1.0.0rc，全面升级了架构设计，适配全新的 OpenMMLab 2.0 体系。我们接下来将从**升级架构设计，算法库新特性**两个方面，对全新升级的 MMSelfSup 1.0 进行介绍。
2022-10-19 18:08:48
1017
原创 更多模型，更强功能，快来开箱新一代图像分类开源框架
我们接下来将从 全新架构设计，更完善的功能，更丰富的算法库，更易用的模型部署四个方面，对全新升级的 MMClassification 1.0 进行介绍。
2022-10-17 09:41:21
1498
6
原创 MMCV 全新升级，新增超全数据变换功能，还有两大变化
我们知道，MMCV 包含两个版本，一个是 mmcv，一个是 mmcv-lite，前者包含所有的特性以及丰富的开箱即用的 CUDA 算子，后者不包含 CUDA 算子但包含其余所有特性和功能。我们曾做过一份问卷调查，其中的一个问题是“你使用 OpenMMLab 项目遇到的最大困难是什么”，绝大多数的社区用户给出的回答都是安装问题。除了常用的数据变换类和数据流水线，数据变换模块还提供了四个特殊的数据变换类，它们本身并不操作数据字典中的图像、标签等信息，而是对其中定义的数据变换的行为进行增强。
2022-10-12 09:51:05
3410
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人