6 月月刊｜快来 Get OpenMMLab 算法库最新动态！

最新推荐文章于 2024-04-17 13:25:35 发布

OpenMMLab

最新推荐文章于 2024-04-17 13:25:35 发布

阅读量1.1k

点赞数

分类专栏：新闻速递文章标签：大数据

本文链接：https://blog.csdn.net/qq_39967751/article/details/125684339

版权

新闻速递专栏收录该内容

27 篇文章 5 订阅

订阅专栏

OpenMMLab 6 月月刊新鲜出炉！我们有 8 个算法库更新了版本。

对 MIM 命令进行了重构，安装下游算法库更高效更方便
MMCV 针对英伟达和寒武纪芯片共添加了 3 个新算子
MMRotate 新增支持了 ConvNeXt 和 Oriented Reppoints 2 个 CVPR2022 的新算法
MMPose 支持了 TCFormer CVPR2022 的新主干网络；
MMHuman3D 支持了新算法 ExPose，新参数化模型 STAR 和新数据集 GTA-Human
MMDeploy 支持了 3 种 Transformer 模型的部署

详细功能支持细节可以继续翻阅以下内容查看哦～！

贡献之星

活跃之星

后续小编将为月度之星送上 OpenMMLab 限量定制礼品，请注意查收！

下面我们继续了解下 6 月 OpenMMLab 各个算法库都有哪些亮点功能发布吧~

亮点功能抢先看

MMPose

支持了新的主干网络 TCFormer（CVPR 2022），根据图片信息动态生成视觉token，更好地捕获细节信息

MMDeploy

支持了 3 种 Transformer 模型的部署：ViT、Swin Transformer、Segmenter

MMCV

在社区同学的共同努力下，MMCV 的代码都添加了 Type Hints

MMRotate

支持了 Oriented Reppoints 模型 (CVPR'22) (#286)

MMSegmentation

更新了 SegFormer 在 ADE20K 数据集上的模型权重，其中 B0、 B1、 B2 等模型的结果比源 paper 更高

MMHuman3D

支持 SMPL-X 估计方法 ExPose (ECCV'2020)，同时重建脸、手、身体

更新详情

1. MMPose

新功能

支持了新的主干网络 TCFormer (CVPR'2022)
增加了 RLE 在 COCO 数据集上的模型
提供了精度更高的 Swin 模型

代码改进

支持了 LayerDecayOptimizer 和 LearningRateDecayOptimizer
支持了使用 mim 安装
在 Webcam Demo 中增加了快速 cpu/gpu 设置
优化了部分 demo 脚本，增加了进度提示

Bug 修复

在 config 中统一使用 custom_hooks 字段，修复了之前使用 custom_hooks_config 与文档不一致的问题
修复了 Webcam Demo 退出时可能导致卡死的问题
修复了 video 3D demo 中 smoother 参数配置的一处错误

感谢 @Indigo6 在此版本中的贡献

2. MMDeploy

新功能

支持 Swin Transformer 在 TensorRT 和 ONNX Runtime 中的部署
支持 Segmentor 在所有后端下的部署
为 MMDeploy SDK 增加了 Java 接口
支持双阶段旋转目标检测模型在 TensorRT 下的部署

代码改进

增加 onnx pass，融合 onnx 计算图中的 select-assign 子图
在 CircleCI 中增加更多的工作流，可以在 Linux, Windows 和 Linux-GPU 平台下测试
提供 YOLOV3 模型部署的拆分策略，并以文档说明
增加 GridPriorsTRT 插件，可把 TensorRT anchor 生成时间从 155us 降低到 13us
在 cmake 脚本中，增加 MMDEPLOY_TASKS 变量，统一 TASK 的访问方式，移除重复性代码
改进 ncnn patch embed
支持 Jetson Orin 的compute capability 87
调整 csrc 目录结构

Bug 修复

加回 build 目录，以便 TensorRT 搜索插件
修复 mmpose 导出 SDK 模型时遗漏了 “image shape” 的问题
修复 ncnn 单元测试错误
修复 ShuffleNetV2 在 TensorRT 中部署的错误
减缓对 mmcls 的版本约束
修复物体检测 C# 接口函数非法访问内存的问题
为 Tensor::Squeeze 增加 dim 参数
在 index.rst 补上遗漏的文档链接
支持 MMOCR 0.5+ 版本
修复 ncnn 推理结果张量的 shape 问题

感谢 @zambranohally @bgsuello @triple-Mu @DrRyanHuang @liuqc11 @Yosshi999 在此版本中的贡献

3. MMCV

新功能

增加 ChamferDistance CUDA 算子
增加两个 MLU 算子：RoiAlignRotated 和 PSAMask

Bug 修复

修复 boxes_iou3d 没有正确计算 iou 的问题
修复 batched_nms 不能正确处理旋转框的问题

感谢 @RangeKing @gy-7 @triple-Mu @ytzhao @zengxiang68 @yangrisheng @WINDSKY45 @ShawnHXH @vansin @HarborYuan @tcexeexe @luopeichao @zcyKTH @filaPro @nxznm @liuyanyi @grimoire @zhouzaida @HAOCHENYE @ZwwWayne @teamwong111 @imabackstabber 在此版本中的贡献

4. MMRotate

新功能

支持了 Oriented Reppoints 模型 (CVPR'22) (#286)
支持了 ConvNeXt 骨干网络 (CVPR'22) (#343)
支持了 RMosaic 数据增强 (#344)

代码改进

更新了 README.md 和 INSTALL.md (#342)
修改了 rotated_fcos_head 中的错别字 (#354)
更新了 base config 中保存权重与测试的间隔 (#347)
修改了 mdformat 版本以支持 python3.6 (#359)
在 setup.py 的 extras_require 中增加了 mim 相关依赖 (#359)
在 CI 中添加了 min 的相关测试 (#374)

Bug 修复

修复了 multiclass_nms_rotated 中 max coordinate 的计算问题 (#346)
修复了 PolyRandomRotate 中的 bug (#366)
修复了 huge_image_demo.py 内存占用过大的问题 (#368)

感谢 @LiWentomng @heiyuxiaokai @JinYuannn @sltlls @liuyanyi 在此版本中的贡献

5. MMEdting

代码改进

[文档] 更新 OST 数据集指令 (#937)
[测试] 在 CUDA 环境中没有实际执行 (#921)
[文档] 首页演示视频添加水印 (#935)
[测试] 添加 mim ci (#928)
[文档] 更新 FLAVR 的 README.md (#919)
[改进] 更新 .pre-commit-config.yaml 中的 md-format (#917)
[改进] 在 setup.py 中添加 miminstall.txt (#916)
[修复] 修复 dim/README.md 中的混乱问题 (#913)
[改进] 跳过有问题的 opencv-python 版本 (#833)

Bug 修复

[修复] 更新 cain_b5_g1b32_vimeo90k_triplet.py 配置文件 (#929)
[文档] 修复 OST 数据集的链接 (#933)

6. MMSegmentation

新功能

更新了 SegFormer 在 ADE20K 数据集上的模型权重
提供了 MMSegWandbHook 以使用 Wandb
提供了使用 ResNet-18 主干网络的模型权重

代码改进

保持了 ViT 里面 cls_token_weight 的维度以方便 ONNX 导出
在模型推理的时候增加了 Padding 操作

Bug 修复

修复了若干 typo

感谢 @ayulockin 在此版本中的贡献

7. MMHuman3D

新功能

支持 SMPL-X 估计方法 ExPose（ECCV'2020）
支持新的人体参数化模型 STAR（ECCV'2020）
官方开源 GTA-Human 数据集（arXiv'2021），以及 SPIN-FT (51.98 mm) 和 PARE-FT (46.84 mm) 基线（精度数值均为 PA-MPJPE ，于 3DPW test 上测试，下同）

代码改进