目录
OpenMMLab 1 月社区月刊发布!在各算法库发布新版本的同时,1 月评选出 2 位活跃之星、和 2 位月度贡献者~
首先和大家分享的是获得 OpenMMLab 1 月的活跃之星!
活跃之星
一位是在 QQ 社群随时解答大家的问题,主要研究空间信息的—— 止战之殇
另一位社区活跃之星,是来自OpenMMLab 微信社群,主要研究智驾感知算法的 —— 章舸帆
月度贡献者
nijkah【韩】同学凭借向 MMCV、MMEditing、MMDetection中提出 9 个 PR ,并Review MMCV 一个 PR ,成为 1 月月度贡献者:
leng-yue【美/中】同学凭借向 MMHuman 3D 提出 2 个 PR ,成为 1 月月度贡献者:
星星说 | 活跃之星:章舸帆
我从入行起就一直是 MM 系列的忠实用户,而 OpenMMLab 社区也是我进入 DL 领域的领路人、启蒙老师。入行以来,在社区大佬们的谆谆教诲下,我收获颇丰。奈何岁月沧桑,年华易老,现在的我只求在 35 岁退休前尽我所能地回报社区,多参与讨 (guàn) 论 (shuǐ)、多发 (fàng) P (zuǐ) R (pào),以绵薄之力回报社区对我的再教育之恩。
后续小编将为社区之星送上OpenMMLab 限量定制礼品,请注意查收!
下面我们继续了解下 1 月各个算法库发版情况吧!
MM 系列多个算法库焕新上线
1. MMCV
新功能
- 添加一系列旋转检测算子
Bug 修复
- 修复 BaseTransformerLayer 中的错误赋值
- 修复 cast_tensor_type 中 inputs 类型与 src_type 不一致导致的问题
- 修复 scatter 处理 CPU 和 GPU 输出不一致问题
- 修复 MomentumUpdaterHook 的 warmup 策略
代码及文档改进
- CyclicLrUpdaterHook 支持 decay 学习率的最大值
- WandbLoggerHook 支持上传文件
- HSigmoid 对齐 PyTorch 官方实现
- 移除对 "python setup.py test" 的支持
- box_iou_rotated 和 nms_rotated 添加 clockwise 参数
- 完善 LoggerHook 文档
感谢@zytx121 @nijkah @hokmund @Bilibilee @LudoBar @imyhxy @zhanggefan @fcakyon
在此版本中的贡献。
2. MMDetection
新功能
- 支持可视化过程中给不同类设置不同颜色
- 支持 CPU 训练
- 提供了下载 COCO, LVIS 和 VOC 数据集的脚本
Bug 修复
- 修复使用 Swin-S 作为骨架网络的 RetinaNet 权重转换问题
- 更新 Compose 的 __repr__ 函数
- 修改构建 docker 镜像时候出现的 BadZipFile 错误
- 修复非分布式多 GPU 训练/测试中的错误
- 使用 bbox clamp 类修复 PyTorch 1.10 中出现的 in-place 错误
- 去除数据集包装器中必须有 PALETTE 属性的限制
- 修复 PAA 算法 reassign 时权重设置错误问题
代码改进
- 通过允许设置多进程参数来加速训练
- 在中文 readme 文件中添加中文教程链接
- 弃用对 “python setup.py test” 的支持
- 重新组织 metafiles 和配置文件
- 通过添加 SigmoidGeometricMean 修复训练 TOOD 期间的 None grad 问题
感谢@zimoqingfeng, @srishilesh, @imyhxy, @jenhaoyang, @jliu-ac, @kimnamu, @ShengliLiu, @garvan2021, @ciusji, @DIYer22, @kimnamu, @q3394101, @gaotongxiao, @topsy404, @AntoAndGar, @nijkah在此版本中的贡献。
3. MMClassification
新功能
- 支持 K 折交叉验证
- 支持 HRNet、ConvNeXt、Twins 和 EfficientNet 四个主干网络和预训练模型
- 支持 PyTorch 模型转换至 Core-ML 模型
Bug 修复
- 修复了多标签验证中默认指标选项的错误
- 修复了 CAM 可视化工具在高版本 pytorch-grad-cam 中的错误
代码及文档改进
- 重构了 CPU 训练和推理的支持
- 增强了 Asymmetric loss,以支持单标签分类
感谢@rlleshi @WINDSKY45 @shinya7y @Minyus @0x4f5da2 @imyhxy @dreamer121121 @xiefeifeihu
在此版本中的贡献。
4. MMPose
新功能
- 新增 MMPose Webcam API: 用于快速开发基于 MMPose 的简单视频交互应用
- 支持 ConcatDataset
- 支持 CPU 训练和测试
Bug 修复
- 修复 pre-commit hook 中的潜在随机行为
- 修复 albumentation 依赖安装方式
- 修复 HSigmoid 默认参数与 mmcv 不兼容的问题
代码改进
- 支持在 data pipeline 中的 LoadImageFromFile 操作中设置 file_client_args
- 支持 CircleCI
- 改善了 CI 效率,在仅修改文档时跳过 unittest 部分
- 改善文档质量
5. MMDetection 3D
Bug 修复
- 删除对于“python setup.py test”的支持(#1164)
- 修复 旋转轴=0 时的旋转矩阵(#1182)
- 修复了非分布式多 gpu 训练/测试时的错误(#1197)
- 修复了空的 3D 框生成角点时可能出现的错误(#1212)
代码改进
- 在语义分割任务中支持 3D 翻转增强功能(#1182)
- 更新 regnet 元文件(#1184)
- 在常见问题解答中添加点云标注工具的介绍(#1185)
- 在 nuScenes 数据集 doc(#1193)中添加有关相机内参的解释
感谢@ZwwWayne, @ZCMax, @Tai-Wang, @wHao-Wu 在此版本中的贡献。
6. MMSegmentation
亮点
- 支持模型 CPU 训练和推理
- 支持分割算法 Segmenter: Transformer for Semantic Segmentation (ICCV2021)
- 支持遥感图像分割数据集 ISPRS Potsdam 和 Vaihingen
- 支持 Mosaic 数据集增强功能 和 并增加了 MultiImageMixDataset 数据集包装
新功能
- 增加 SegFormer 在 Citycapes 数据集上的 benchmark
- 增加 UNet 使用混合损失函数 在4个医学图像数据集里的 benchmark
- 增加自动恢复训练( auto resume) 和 日志收集(log collector) 功能
Bug 修复
- 修复了 readthedoc 里面错误的模型统计量
- 在没有给定随机种子时给 `palette` 设置随机种子
- 在 class_names.py 里面增加 COCOStuffDataset 类
- 修复在非分布式的多 GPU 训练和推理时的 bug
- 删除了 STDCHead 里面的冗余代码
- 修复了文档里的一些 typo
- 修复了由 setup_multi_processes 造成的日志重复输出的 bug
代码改进
- 在 pre-commit hook 里面升级了 isort 包
- 在 ViT 和 Swin Transformer 里面使用 MMCV 的 load_state_dict 函数
- 在 CPU 训练和推理模式时增加判别 PointRend 的 exception
感谢@jbwang1997 @BeaverCC @Echo-minn @rstrudel 在此版本中的贡献。
7. MMOCR
新功能
- OpenSet KIE 中支持边的权重的可视化 (#677)
- 优化配置,提速训练(#757)
- 支持使用 CPU 训练(#752)
Bug 修复
- 修复以包安装 MMOCR 时无法 import mmocr.apis.test 的问题 (#667)
- 修复 SAR Decoder 中 bi-RNN 的配置问题(#690)
- 修复 totaltext converter 中对新版 pyyaml 的兼容问题(#753)
- 限制 OpenCV 最高版本以规避已知的 segmentation fault 问题(#694)
感谢@cuhk-hbsun, @gaotongxiao, @Harold-lkk, @AllentDan, @MhLiao, @TommyZihao 在此版本中的贡献。
8. MMGeneration
新功能
- Evaluation 支持 DDP 并行(#151)
- 支持 BigGAN 风格的 Spectral Norm(#159)
- 支持隐空间映射并导出视频(#167)
- 支持 mim(#176)
- 支持 Dockerfile(#200)
- 支持 Improved-DDPM 方法(#205)
Bug 修复
- 修复 SinGAN Dataset 的配置文件错误(#192)
- 修复 SAGAN,SNGAN 以及 BigGAN 默认的 Spectral Norm 参数(#199,#213,#215,#217)
感谢@JiangongWang @TommyZihao 在此版本中的贡献。
9. MMEditing
新功能
- 支持 AOT-GAN (#674, #675, #676)
- 支持 CAIN (#683, #691, #709, #713)
- 新增 basic interpolater (#687)
- 新增 BaseVFIDataset and VFIVimeo90KDataset (#695, #697)
- 新增 video interpolation demo (#688, #717)
- 在 RDDBNet 中支持多种 scale (#699)
- 在 demo 中支持 Ref-SR 推理 (#716)
- 在 REDS 数据集上支持 EDVR-L (#719)
BUG 修复
- 修复文档中的链接问题 (#703, #704)
- 修复 Dockerfile 中的 MMCV 参数 (#708)
- 修复不可执行文件的文件权限 (#718)
代码改进
- 将 CI 中的 Pillow 版本从 6.2.2 to更新至 8.4 (#693)
- 在 SRREDSMultipleGTDataset 中增加 'repeat' 参数 (#672)
感谢@quincylin1 @Juggernaut93 @anse3832在此版本中的贡献。
10. MMSelfsup
新功能
- 支持 MoCo v3 算法
- 支持部分算法 cpu 训练,方便用户调试
BUG 修复
- 修复 persistent_worker 应用的 pytorch 版本问题
- 修复 k-means 损失输出的格式问题
- 修复 cifar 数据集读取问题
- 修复 test.py 中 dataset.evaluate 调用时传参问题
- 修复 RandomAppliedTrans 中 prob 属性未赋值的问题
代码改进
- 当 Pytorch 版本大于 1.7 val_dataloader 添加 persistent_workers=True
- 支持训练时未设置种子时,设置随机种子
代码重构
- 简化 CI,节省资源
- 在构建 evaluation dataloader 时增加 drop_last 选项
- 优化训练启动时间
- 升级 isort 版本到 5.10.1
感谢
@soonera, @Kaminyou, @mitming, @RangeKing, @xcnick, @st9007a, @Muyun99在此版本中的贡献。
11. MMHuman 3D
新功能
- 复现了更强的 HybrIK 基线(3DPW 上达到 PA-MPJPE49.02)
- 增加了 SMCReader 用以支持新的数据结构 SMC
- 支持在非 slurm 环境下多 GPU 训练/测试
- 支持 SMPL 参数的刚性变换
- 增加基于视频的推理管线用以支持 VIBE 的算法示范
- 增加使用 HuMMan 数据训练的支持
Bug 修复
- 修复了数据增强导致 2D 关键点损失无法收敛的问题
- 修复了 SMPL 参数使用随机旋转增强数据的问题
- 修复了数据预处理工具的多个问题
- 修复了显存因不必要的初始化而浪费的问题
代码改进
- CameraParameter 接受 numpy 和 torch tensor 及 K,R,T 可以通过统一方法获取
- 支持在训练期间验证以及更多的测试指标如 PVE
- 增加 HuMMan 数据集的预处理工具
12. MMDeploy
新功能
- 支持在nVIDIA Jetson Nano, TX2, AGX Xavier 等设备上的部署
- 新增 SDK python 接口
- 支持 yolox 通过 ncnn 进行部署
- 支持分割模型 UNet 的部署
- 新增 docker files
BUG 修复
- 解决了 ONNXRuntime 中 NMS 操作可能输出空 tensor 的问题
- 解决了在 TensorRT 7 中 SSD 部署失败的问题
- 修复了 MMSegmentation 模型导出动态shape的问题
- 修复了 模型通过 pplnn 部署时遇到的问题
代码改进
- 为 CI 增加覆盖率报告
- 重构 config
- 移除模型转换过程中冗余的数据拷贝
- 简化单 batch NMS 操作
感谢@Stephenfang51@zhiqwang @tehkillerbee @Echo-minn 在此版本中的贡献。
1月文章推荐
揭晓 OpenMMLab 2021 年度贡献之星,重磅奖品整装待发
本月的月报就为您播报到这感谢您的订阅~
大家在月报中想看咱给您汇报什么请在评论区告诉我们哦!
QQ群:
920178331
微信总群:
Open喵喵Lab 1/2/3/4 群
微信细分群:
MMDetection、MMSegmentation、MMDetection3D、MMAction2、MMPose&Human3D、MMSelfSup、MMOCR、MMCV & MIM、MMRazor、MMDeploy、MMCLassfication、MMEditing
欢迎私信加小助手微信,邀请进入微信群~