导读
图像分割是计算机视觉三大任务之一,基于深度学习的图像分割技术也发挥日益重要的作用,广泛应用于智慧医疗、工业质检、自动驾驶、遥感、智能办公等行业。
然而在实际业务中,图像分割依旧面临诸多挑战,比如:分割数据标注效率较低,标注过程自动化程度低;垂类场景多样,打造全流程方案的难度大;针对3D分割的方案较少。
针对以上挑战,飞桨图像分割开源套件PaddleSeg近期升级,主要包括:
-
开源NeurIPS 2022顶会发表的语义分割官方实现模型RTFormer,结合CNN和Transformer的优点,该模型设计并使用了高效的RTFormer Block。对比其他实时语义分割模型,RTFormer在多个数据集上实现SOTA精度和速度。(后续会有单独文章详细解读)
-
针对标注数据的难题,发布智能标注平台EISeg正式版,支持医疗、遥感、工业质检等领域的分割标注,新增视频分割标注,分割标注效率提升超过10倍。
-
针对人像分割场景,发布实时人像分割SOTA方案PP-HumanSegV2,推理速度提升87.15%,分割精度达到96.63%,可视化效果更佳,可与商业收费方案媲美。
-
针对3D医疗分割场景,发布3D医疗影像分割方案MedicalSegV2,支持3D交互式标注标注,实现高精度、定制化、全流程。
注:了解更多详情,可至文末加入PaddleSeg技术交流群
感谢大家star关注
https://github.com/PaddlePaddle/PaddleSeg
技术升级详细解析
第一部分
EISeg 正式版标注效率提升超过10倍
通用场景的智能标注
EISeg基于深度学习模型,能够结合用户提供的标注信息灵活选择用户感兴趣的区域。在EISeg中,用户通过点击正点或负点来选择需要被分割的目标,不需要再对目标周围进行点击和拉线。它能减少用户交互的次数,提升标注效率。
医疗、遥感垂类场景的智能标注
EISeg针对特定数据集进行训练并获得了高质量的交互式分割模型,目前覆盖的场景包括: 医疗腹腔多器官、椎骨分割、产品瑕疵分割、遥感建筑物分割等。同时,针对不同场景的标注需求,EISeg提供了相应的特色标注能力,比如遥感图像支持遥感信息的读取,医疗图像支持窗宽窗位的选择等,从而拓展了交互式分割的应用领域。
业界领先的内置分割模型
目前EISeg提供的各类模型能够达到业界的领先水平,EISeg通用模型精度和速度如下表所示:
支持视频智能标注
EISeg正式版视频标注工具以交互式分割算法及交互式视频分割算法MiVOS为基础,涵盖了通用、腹腔多器官,CT椎骨等不同方向的高质量交互式视频分割模型,方便开发者快速实现视频的分割标注。
支持多种图像及标注格式
EISeg正式版支持多种标注格式生成,同时支持导出伪彩色图、灰度图,以及JSON、COCO等数据格式,总有一款能满足你的需求。
助力多家标注平台落地
PaddleSeg提供的智能标注能力现已落地百度大脑EasyData智能数据服务平台,百度智能云数据众包、标贝数据、中国空天院、国家农业智能装备工程技术研究中心等厂内外数十家公司,助力企业提升标注效率,降低标注成本。
- EISeg传送门
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.6/EISeg
第二部分
PP-HumanSegV2人像分割SOTA方案,精度96.63%、速度63FPS
在视频通话和观看直播时,背景虚化、弹幕穿人等神奇的功能,给我们带来了更优质的体验和多维的乐趣。那这是靠什么AI黑科技实现的呢?答案就是人像分割。人像分割是将人物和背景在像素级别进行区分。目前人像分割技术得到快速突破,但是高精度、高性能、全流程的方案,仍是业界高手持续发力优化的地方。
PaddleSeg重磅升级的PP-HumanSegV2人像分割方案,以96.63%的mIoU精度, 63FPS的手机端推理速度,再次刷新开源人像分割算法SOTA指标。相比PP-HumanSegV1方案,推理速度提升87.15%,分割精度提升3.03%,可视化效果更佳。支持零成本、开箱即用!
PP-HumanSegV2方案核心点在以下三方面:
开源PP-HumanSeg14K人像分割数据集
常见的人像分割公开数据集有EG1800和Supervise-Portrait,数据量分别是1.8k和3k,而且都是针对通用场景。PP-HumanSegV2方案重点关注视频会议和远程通话场景,面临场景变化多样、可用数据量过少的难点。因此,我们针对视频会议和远程通话场景,构建并开源了最大的视频会议人像分割数据集PP-HumanSeg14K。
该数据集充分考虑了场景多样性,采集的图片涵盖了背景光照、人物动作、人物个数、戴口罩等诸多变化因素。总共收集了将近14000张图片进行高精标注,划分为训练集9000张、验证集2500张、测试集2500张。
同时PaddleSeg团队将PP-HumanSeg14K数据集论文发表在WACV 2022 Workshop上,让更多学者可以看到并申请使用该数据集。截至目前,PP-HumanSeg14K已经广泛助力人像分割的研究,涵盖60+高校、20+机构、30+公司。
- PP-HumanSeg14K数据集传送门
https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.6/contrib/PP-HumanSeg/paper.md
采集的图片
标注的图片
升级实时高精度人像分割SOTA模型
此前的实时人像分割模型,无法实现精度和速度的完美平衡,所以我们基于PaddleSeg近期发布的超轻量级系列MobileSeg模型,根据方案目标,设计新的实时人像分割SOTA模型模型。(结构如下图所示)
实时人像分割SOTA模型
对于模型Encoder部分,考虑到模型的算量要求很高,我们选用MobileNetV3作为骨干网络提取多层特征。分析发现MobileNetV3的参数主要集中在最后一个Stage,在不影响分割精度的前提下,我们只保留MobileNetV3的前四个Stage,成功减少了68.6%的参数量。对于上下文部分,我们使用PP-LiteSeg模型中提出的轻量级SPPM模块,而且其中的普通卷积都替换为可分离卷积,进一步减小计算量。SPPM模块输入16倍下采样特征图,输出汇集全局上下文信息的特征图。对于Decoder部分,我们设计三个Fusion融合模块,多次融合深层语义特征和浅层细节特征,最后一个Fusion融合模块再次汇集不同层次的特征图,输出分割结果。
三个关键优化策略升级
除了数据和模型方面的工作,我们还分析实际场景,提出了三种优化策略,实现最好的精度、速度和可视化效果:
- 使用两阶段训练方式,提升分割精度
两阶段训练是基于迁移学习的思想,首先在大规模混合人像数据集(数据量100k+)上训练,然后使用该预训练权重,在PP-HumanSeg14K数据集(数据量14k)上训练,最终得到训练好的模型。使用两阶段训练方式,可以充分利用其他数据集,提高模型的分割精度和泛化能力。
- 调整图像分辨率,提升推理速度
调整图像分辨率也直接影响模型的推理速度,我们使用多种图像分辨率进行训练和测试,在PP-HumanSegV2方案中选择最佳图像分辨率,进一步提升了模型推理速度。
- 使用形态学后处理,提升可视化效果
首先获取原始预测图像I,然后使用阈值处理、图像腐蚀、图像膨胀等操作得到掩码图像M,最后预测图像I和掩码图像M相乘,输出最终预测图像O。下图直观展示了形态学后处理可以滤除背景干扰,提升可视化效果。
形态学后处理的图像
- 传送门
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.6/contrib/PP-HumanSeg
第三部分
MedicalSegV2:高精度定制化3D医疗分割方案
3D医疗影像分割通过学习3D医疗影像数据(CT、MRI)和特定标签的映射关系,获取3D的特定感兴趣器官、组织的立体分割结果。进一步结合3D打印、数据分析、可视化等技术,就可以帮助医生对患者的病情进行高效诊断、手术规划、疾病研究等重要工作。
多层2D椎骨数据通过3D分割获得3D立体分割结果
基于自研模型的3D智能标注平台EISeg-Med3D
医疗影像分割中的一个源头性问题为数据标注极为困难,专业医生需要通过极为繁杂的标注流程、多重质量保证机制来生成大量、准确标注结果。为了缓解这个问题。PaddleSeg团队创新性地将3D网络应用于交互式分割流程中,并实现100%3D数据流,形成了基于3D交互式分割的智能标注平台EISeg-Med3D。
EISeg-Med3D基于3D Slicer搭建,具有高效、高精度、用户友好三大特点:只要一次点击1s生成3D标注结果,相比2D标注实现十倍提速;两次点击就可达到85% 精度,结合搭载的机器学习图像算法、手工微调工具,实现100%高精度标注;拥有标注进度管理、三步轻松安装、历史标注结果自动导入等用户友好设计。
极大丰富的高精度多器官前沿模型
从v1到v2,MedicalSeg的内置分割算法从单个VNet丰富到6个SOTA算法,扩充的模型数量提供了更为先进高效的分割性能,覆盖了18种各类器官组织。如下表所示,复现的模型对比原始算法精度均有不同精度的提升,其中TransUNet相比原始算法精度提升了3.6。
定制化医疗分割方案nnUNet
有过医疗分割经验的开发者一定听过nnUNet,作为各大比赛的打榜方案,其支持数据定制化下的高精度分割。而看过其代码的开发者也会发现其代码的晦涩难懂。为了支持大家更加灵活使用nnUNet的需要,我们基于飞桨对其进行了模块化、清晰化的复现;同时还新增了在静态图预测时匹配多种模型、多折模型的部署方案,达到同一张图像可使用多折静态模型部署的效果,从而大大提升了其产业实用性。
- MedicalSeg v2传送门
https://github.com/PaddlePaddle/PaddleSeg/tree/develop/contrib/MedicalSeg
加入PaddleSeg技术交流群
入群福利
-
获取PaddleSeg详解本次升级内容的直播课链接
-
获取PaddleSeg团队整理的5G重磅学习大礼包,包括:
1. PaddleSeg历次发版直播课视频
2. 社区优秀开发者项目分享视频
相关地址
- 官网地址
https://www.paddlepaddle.org.cn
- PaddleSeg项目地址(GitHub)
https://github.com/PaddlePaddle/PaddleSeg
- Gitee
https://gitee.com/paddlepaddle/Paddleseg
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~