★★★ 本文源自AlStudio社区精品项目,【点击此处】查看更多精品内容 >>>
PaddleSeg简介
PaddleSeg是基于飞桨PaddlePaddle的端到端图像分割套件,内置45+模型算法及140+预训练模型,支持配置化驱动和API调用开发方式,打通数据标注、模型开发、训练、压缩、部署的全流程,提供语义分割、交互式分割、Matting、全景分割四大分割能力,助力算法在医疗、工业、遥感、娱乐等场景落地应用。
PaddleSeg特性
-
高精度:跟踪学术界的前沿分割技术,结合高精度训练的骨干网络,提供40+主流分割网络、140+的高质量预训练模型,效果优于其他开源实现。
-
高性能:使用多进程异步I/O、多卡并行训练、评估等加速策略,结合飞桨核心框架的显存优化功能,大幅度减少分割模型的训练开销,让开发者更低成本、更高效地完成图像分割训练。
-
模块化:源于模块化设计思想,解耦数据准备、分割模型、骨干网络、损失函数等不同组件,开发者可以基于实际应用场景出发,组装多样化的配置,满足不同性能和精度的要求。
-
全流程:打通数据标注、模型开发、模型训练、模型压缩、模型部署全流程,经过业务落地的验证,让开发者完成一站式开发工作。
PaddleSeg入门与学习
刚刚接触深度学习图像分割?来一个quick start吧~ 10分钟上手PaddleSeg
还不熟悉Paddle的动态图API?来看看这个教程吧~ PaddleSeg动态图API使用教程
学习不过瘾,想对PaddleSeg的整体技术架构和代码细节一探究竟?有大佬梳理了这篇: PaddleSeg代码解读
趁热打铁,来看看如何在PaddleSeg中复现经典的分割模型吧!
在实战之前,学习一些探索性数据分析(Exploratory Data Analysis, EDA)的知识总没坏处 图像语义分割EDA模板
PaddleSeg实战
AI Studio已经沉淀了不少优质的PaddleSeg实战项目,包含交通、医疗、遥感等多样的应用场景,还有不少同学使用PaddleSeg打比赛,并将技术方案开源到AI Studio。
人像分割
PaddleSeg在人像分割领域拥有优秀的自研模型PP-HumanSeg,可以高精度、低延时完成人像分割相关应用。
对人像分割任务感兴趣的同学可以看看这两个项目:
精细抠图
PaddleSeg提供了精细抠图相关的开发工具Matting和开箱即用的抠图模型PP-Matting。不同于普通的语义分割模型,matting模型能够以头发丝级别的精度抠出图像中的前景对象,这在很多场景中是十分有用的。
- 先来一套代码实战:PaddleSeg实战——Matting
- 视频扣图也有项目可以参考:基于PPHumanMatting 来 P 阿力木视频
- 关于人像抠图,还有大佬贴心地给出了.Net项目部署方案PaddleSeg的.Net项目部署PaddleSegSharp
交通
在智能驾驶场景中,PaddleSeg可以在车辆的环境感知过程中发挥作用。
关于车道线检测,有这些项目可以参考:
行车场景全景分割数据标注困难?模型精度速度难以平衡?来看看这个:车路协同:交互式分割技术在智慧建图中的应用和实践
医疗
PaddleSeg中常规的图像分割模型可以轻松应用在2D医疗图像中的脏器、病灶等分割提取的任务中。针对3D医疗图像,PaddleSeg提出了简易、强大、全流程的3D医学图像分割方案MedicalSeg。
想快速上手MedicalSeg?这一篇可以参考:快速上手PaddleSeg的医疗3D分割套件MedicalSeg
要提取下面这些器官、病灶等,PaddleSeg都可!
- 基于PaddleSeg的新冠病灶分割
- 基于PaddleSeg的心、肺分割)
- 使用paddleseg开发套件分割肝脏和肿瘤
- 基于PaddleSeg的视杯视盘定位与分割
- 使用PaddleSeg在胸片上分割PICC管
- 基于PaddleSeg的眼底血管分割
- 基于3D分割实现自动判断脂肪肝和严重程度
还有贴心的小工具制作教程 结合PaddleSeg和PyQt制作新冠肺部CT磨玻璃样病灶检测小工具
这里推荐一位在AI+医疗领域颇为活跃的资深飞桨开发者吖吖查,对这个领域感兴趣的同学不妨时常关注一下他的最新项目~
遥感
随着遥感卫星数量的持续增多,高分辨率卫星影像的数量、质量不断提升,促进了人工智能技术在遥感影像智能解译领域的探索和应用。
遥感影像语义分割可以参考下面这些项目:
- 常规赛:遥感影像地块分割(PaddleSeg版)
- 基于PaddleSeg实现山东滨州遥感影像地块分割
- 基于paddleSeg的自定义遥感数据语义分割——以DLRSD为例
- 使用Transformer模型对航空遥感图像分割
- 使用PP-LiteSeg进行遥感道路分割
工业
在工业生产与制造场景,经常需要对目标进行质量检查和状态监控,图像分割技术往往能够带来一定的效率提升。可以参考下面几个典型的项目:
其它
除了上述场景,PaddleSeg还有不少发挥空间,比如:
- 可以用在智慧城市的PaddleSeg部署实战:景观健康效益评估
- 持续更新中…
PaddleSeg还能这样玩
接下来是打开脑洞的时刻,只要足够有想象力,就能用PaddleSeg做一些很酷的事情~
比如不久前的天池大赛,使用PaddleSeg检测图像中的篡改区域【天池大赛】真实场景篡改图像检测挑战赛线上2391分
再比如使用PaddleSeg实现随意变装:PaddleSeg实现人脸部件分割与变妆
淘宝上有穿衣预览,有没有可能做美甲预览呢?来看看大佬的创意吧! 基于PaddleSeg的美甲预览机
欢迎投稿
本项目持续更新,同学们如果认为自己基于PaddleSeg的项目足够优质或新颖,欢迎在下方评论区留下链接哦~
加入交流群,一起学习吧
更多关于分割的知识请移步PaddleSeg,如有帮助,欢迎Star⭐支持~
github地址:https://github.com/PaddlePaddle/PaddleSeg
欢迎加入PaddleSeg微信群,交流更多前沿技术。
![](https://i-blog.csdnimg.cn/blog_migrate/2030d6152f691bd2c5b2eaeb0d4d5030.jpeg)