一文尽享 Matting（抠图）主流开源模型、数据集

于 2024-10-10 10:21:58 发布
阅读量231 收藏 12
点赞数 4
文章标签： 人工智能 AI GPU 算力 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49711991/article/details/142814580
版权

图片

嘿，小伙伴们，国庆长假近在眼前，是不是心里那个小激动已经按捺不住了，就像小时候数着日子等过年？但一想到抢票大战、酒店一房难求，还有那些网红景点的“人海战术”现场，出游的热情瞬间被浇了半盆冷水。

不过，聪明的网友已经开始解锁“电子旅游”新姿势！何谓“电子旅游”，简单来说，就是不用真动腿，只需动动手指，利用神奇的抠图技术，嗖嗖几下，就能把自己 P 进世界各大名胜古迹，从长城到埃菲尔铁塔，从丽江古城到夏威夷海滩，躺着就能环游地球，朋友圈里晒照。

所谓 Matting（抠图）是一种图像处理技术，主要用于从复杂背景中提取前景对象，通常应用于图像合成、特效制作和视频编辑等领域。“电子旅游”中的人像抠图也是其中一种。

本文精心汇总了 Matting（抠图）技术的前沿开源模型、主流算法以及数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。

Deep Image Matting

图片

针对此前的图像抠图算法，在图像的前景和背景颜色相似或纹理复杂时表现不佳可能存在的问题：only use low-level features 和 lack high-level context。

提出以下创新：

  • 一个深度卷积 encoder-decorder 网络，它将一个图像补丁和相应的 trimap 作为输入，预测图像的 alpha matte；

  • 一个小型的卷积网络，用更准确的阿尔法值和更清晰的边缘来完善第一个网络的阿尔法预测。

此外，还创建了一个大规模的图像抠图数据集，包括 49,300 张训练图像和 1,000 张测试图像。

图片

  • 参考论文：Deep Image Matting

  • 论文地址：https://arxiv.org/pdf/1703.03872

  • 开源地址：https://sites.google.com/view/deepimagematting(数据需要通过邮箱[bprice@adobe.com]联系获得)

Background Matting

图片

Background Matting 是华盛顿大学提出的一种背景 matting 技术，该技术可以在自然环境中随意捕获高质量的前景和 alpha matte。

研究创新如下：

  • 首个使用随意捕获背景的无三元图(trimap-free)自动抠图算法。

  • 一种新的抠图架构(上下文切换模块)，可在输入提示中进行选择。

  • 一种自监督对抗训练方法，以改善真实图像上的抠图效果。

  • 在多种输入(手持设备、固定摄像头、室内、室外)上与多种竞争方法进行实验比较，展示了该方法的相对成功。

  • 参考论文：Background Matting: The World is Your Green Screen (CVPR 2020)

  • 论文地址：https://arxiv.org/abs/2004.00626

  • 开源地址：https://github.com/senguptaumd/Background-Matting

BackgroundMattingV2

图片

BackgroundMattingV2 是 Background Matting 升级版，由华盛顿大学提出的一种实时、高分辨率的背景替换技术，它可以在 4K 30fps 和 HD 60fps 下运行。

图片

 

另外，还提供了两个大型视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。

VideoMatte240K 共收集 484 个高分辨率的绿幕视频，其中 384 个视频为 4K 分辨率，100 个为 HD 分辨率，并通过 Adobe After Effects 生成了总共 240,709 帧单独的 alpha 遮罩和前景。

PhotoMatte13K/85 包含 13665 张用摄影棚质量的灯光和摄像机在绿屏前拍摄的图像集合，以及通过色度抠像(chromakey)算法提取的抠图，并进行手动调整与错误修复。另外收集一套 85 张质量类似的抠图作为测试集。

图片

  • 参考论文：Real-Time High-Resolution Background Matting (CVPR 2021)

  • 论文地址：https://arxiv.org/abs/2012.07810

  • 论文介绍：https://blog.csdn.net/qq_45929156/article/details/122632480

  • 开源地址：https://github.com/PeterL1n/BackgroundMattingV2(包含数据下载)

RVM

图片

RVM(Robust Video Matting) 是专为稳定人物视频抠像的设计。不同于现有神经网络将每一帧作为单独图片处理，RVM 使用循环神经网络，在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。

图片

  • 参考论文：Robust High-Resolution Video Matting with Temporal Guidance (WACV 2022)

  • 论文地址：https://arxiv.org/abs/2108.11515

  • 开源地址：https://github.com/PeterL1n/RobustVideoMatting

PaddleSeg

PaddleSeg 是基于飞桨 PaddlePaddle 开发的端到端图像分割开发套件，涵盖了高精度和轻量级等不同方向的大量高质量分割模型。通过模块化的设计，提供了配置化驱动和 API 调用两种应用方式，帮助开发者更便捷地完成从训练到部署的全流程图像分割应用。

提供语义分割、交互式分割、全景分割、Matting 四大图像分割能力，广泛应用在自动驾驶、医疗、质检、巡检、娱乐等场景。

图片

  • 开源地址：https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.5/Matting/README_CN.md

MODNet

图片

MODNet

MODNet 是一个仅需 RGB 图片输入的实时人像抠图模型，包含两项创新技术：用于高效语义特征融合的 e-ASPP 模块，以及自监督的 SOC 策略，以使 MODNet 能够泛化到新的数据领域。

另外，还提出一个新的基准测试——PPM，具有以下特点：

  • 精细标注：所有图像都经过仔细标注和审核，确保高质量标签。

  • 自然背景：所有图像均使用原始背景，没有进行背景替换。

  • 丰富多样性：图像覆盖全身或半身，且包含各种不同的姿势。

  • 高分辨率：图像分辨率介于1080p到4K之间，保证了高质量的视觉效果。

图片

  • 参考论文：MODNet: Trimap-Free Portrait Matting in Real Time (AAAI 2022)

  • 论文地址：https://arxiv.org/pdf/2011.11961

  • 开源地址：https://github.com/ZHKKKe/MODNet

  • 下载地址：https://github.com/ZHKKKe/PPM

MAGICK

MAGICK 数据集，包含 150,000 个生成的物体及其准确的 alpha matte。涵盖了各种物体，并且具有高质量的 matte，包含头发、毛发、细小部分和透明度等细节。该数据集在训练 RGBA 生成、alpha-to-rgb 或自然图像抠图网络方面都有很大帮助。

图片

  • 参考论文：MAGICK: A Large-scale Captioned Dataset from Matting Generated Images using Chroma Keying (CVPR 2024)

  • 论文地址：https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

  • 下载地址：https://ryanndagreat.github.io/MAGICK/

matting_human_datasets

该数据集是由国内公司高质量标注的，包含 34427 张图像和对应的 matting 结果图。

图片

  • 下载地址：https://github.com/aisegmentcn/matting_human_datasets

RealWorldPortrait-636

RealWorldPortrait-636 数据集由 636 张精确标注的人像图片组成。

图片

  • 参考论文：Mask Guided Matting via Progressive Refinement Network (CVPR 2021)

  • 论文地址：https://arxiv.org/abs/2012.06722

  • 下载地址：https://github.com/yucornetto/MGMatting

Distinctions-646

Distinction-646 数据集由 646 张前景图像及其手动标注的 alpha matte 组成。

图片

  • 参考论文：Attention-Guided Hierarchical Structure Aggregation for Image Matting (CVPR2020)

  • 论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Qiao_Attention-Guided_Hierarchical_Structure_Aggregation_for_Image_Matting_CVPR_2020_paper.pdf

  • 下载地址：https://github.com/yuhaoliu7456/CVPR2020-HAttMatting

趋动云是面向企业、科研机构和个人 AI 开发者构建的开发和推理训练服务，也是全球首个基于 GPU 算力池化云的服务。

趋动云的使命是连接算力·连接人：

📍通过连接全球算力，趋动云可以为用户提供便宜、好用的 AI 算力。
📍通过为AI算法开发全流程提供优化服务、构建全球开发者项目和数据社区，趋动云可以帮助AI开发者接入丰富的生态，快速实现最佳实践。

图片

virtaitech
关注
博客
云平台一键部署【mPLUG-Owl3-7B】阿里开源多模态大模型
10-10 266
mPLUG-Owl3-7B模型作者来自阿里mPLUG团队，他们一直深耕多模态大模型底座，以LLaVA-Next-Interleave为基准，mPLUG-Owl3将模型的First Token Latency缩小了6倍，且单张A100能建模的图像数目提升了8倍，达到了400张图片，且该模型在单图像、多图像和视频任务中的表现依然非常出色。在此之前还提出了：高效多模态底座mPLUG系列模块化多模态大语言模型底座mPLUG-Owl系列文档理解底座mPLUG-DocOwl系列。
博客
图像超补全（Outpainting）技术的前沿模型与数据集资源汇总
09-25 859
lmage outpainting”这一概念是由斯坦福大学 CS230 课程的 Mark Sabini 等人提出，相较于图像修复技术，lmage outpainting 更进一步，能够从给定的图像片段中“补全”出缺失的外延部分，以精妙的方式补全画面，从而构建出一个完整且连贯的视觉世界。另外，所提出的论文在吴恩达的斯坦福大学 CS230 课程中获得了期末 Poster 的第一名。论文地址：https://arxiv.org/pdf/1808.08483。
博客
异构AI算力资源池：智能世界的新型基础设施
09-23 1070
OrionX支持将不同品牌如英伟达、寒武纪、华为海思、海光等构建成一个异构资源池，上层业务人员无须关心底层具体调用哪个品牌、哪个型号的算力资源，底层算力对上层业务人员完全透明，业务人员只需关注需要多少张算力卡，以及需要多少算力、显存资源，进行按需申请即可。通过软件定义的方式，可以构建一个灵活的算力资源池，满足不同应用对于计算能力、存储能力和网络能力的需求，同时实现资源的按需分配。通过软件定义异构AI算力资源池，可以实现对算力资源的精细化管理和优化调度，从而提高算力的利用率和效率。
博客
图像修复（Inpainting）技术的前沿模型与数据集资源汇总
09-18 1114
图像修复（Image Inpainting）是一种计算机视觉技术，旨在填补图像中的缺失区域或去除图像中的不需要部分，使其看起来自然且无明显痕迹。其目标是根据图像的上下文信息和周围像素来推断和重建缺失区域的内容，以生成逼真且一致的图像。Inpainting 技术的应用广泛，包括但不限于：图像修复：用于修复老旧或损坏的照片，例如修补划痕、污渍或褪色区域。视觉内容编辑：在照片/视频编辑中，填充被裁剪或移除的部分，或替换特定区域的内容。；移除不需要的对象或元素，实现无缝过渡。
博客
见刊丨“GPU池化”术语发布
09-14 336
在实践中，很多企业AI系统都是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化。资源池的核心是通过软件的方法，将各种硬件（CPU、内存、磁盘、网络等）变成可以动态管理的“资源池”，从而提升资源的利用率，简化系统管理，实现资源整合，让IT对业务的变化更具适应力。GPU池化也是遵循这样的理念，对物理GPU进行抽象，软件化后形成一个统一的资源池，方便用户按需对GPU资源进行有效调用，无需关注实际物理GPU的大小，数量，型号以及安插的物理位置。
博客
GPU池化如何帮助用户灵活“避坑”
09-14 864
随着5G、人工智能、云计算、大数据、IoT等技术的推动，万物互联的时代即将到来。因为大量AI应用都依赖GPU的超强计算能力，可以预见算力需求将越来越大，GPU在数据中心的地位也会越来越高。然而理想是丰满的，现实却是骨感的，GPU的计算能力虽然很强，但GPU总是因各种原因“罢工”:不是因为GPU故障，就是因为GPU资源不够，导致上层AI应用无法安全、稳定地运行，使AI应用管理员很狼狈，每天总是疲于奔命。究其。
博客
GPU池化为实现Robotaxi按下快进键
09-12 436
该报告从智慧共享出行的远大蓝图讲起，认为随着汽车产业“电气化”、“智能化”、“网联化”、“共享化”进程的不断发展，集“四化”于一身的Robotaxi代表了未来地面共享出行的理想形态。为了突破技术桎梏、推动商业落地，行业参与者从各自角度出发，或通过技术和产品的打磨，或通过生态和模式的创新，或通过政策和标准的制定，推动着自动驾驶行业健康、有序发展，稳步前进。在这个背景下，Robotaxi行业参与者众多，也需要各路“玩家”建立统一的商业视界，在数据高效流通的世界内通力协作，建立智慧共享出行的新模式。
博客
干货分享丨智造底座——AI算力池化的必要与实践
09-12 327
GEMINI AI训练平台以云原生容器服务为基础架构，调用云资源，配合人工智能、大数据以及分布式计算框架，服务于企业的AI算法开发、模型训练以及AI应用部署需求。诸如自动驾驶、电信、银行、互联网等领域的头部客户都已开始采用趋动科技的解决方案，实现算力的灵活调配，从而降低IT成本，提高生产运营效率。然而在现实应用中，作为高级图形处理和算力支持的GPU利用率却并不高，传统的物理绑定GPU方式正在束缚算力资源，让其无法发挥应用的价值，更别提在高级别渲染、虚拟现实和深度学习等项目中灵活的进行资源协作。
博客
OrionX vGPU研发测试场景下最佳实践之SSH模式
09-12 571
目前很多企业在做AI开发的场景时，对GPU资源的管理都是非常简单粗暴的。他们大多都是以开发小组为管理单位、由运维以台为单位分配给开发工程师使用。而在AI开发中涉及开发的场景和测试的场景，很多是将开发测试甚至训练任务都放在一起来使用资源，这时用户就会在资源使用方面遇到一些问题：从管理角度看，用户会遇到资源无法统一管理和调度、也无法做到很好的监控和资源统计的问题；从算法人员的角度看，他们面临的问题就是资源紧张须相互协调、无法灵活动态地使用和申请资源的问题。
博客
OrionX vGPU 研发测试场景下最佳实践之Jupyter模式
09-11 1302
通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。
博客
OrionX vGPU 研发测试场景下最佳实践之CodeServer模式
09-11 996
在之前的文章中，我们讲述了OrionX vGPU基于SSH模式、以及Jupyter模式下的最佳实践（文末附回顾链接~），今天，让我们走进CodeServer模式的最佳实践。• CodeServer模式：微软的VSCode的服务器版本，近年很多企业在采用该工具，使用资源的方式类似Jupyter，也是部署在虚机或者容器当中。
博客
OrionX GPU算力池助力AI OCR场景应用
09-11 1224
OrionX通过软件定义AI算力，颠覆了原有的AI应用直接调用物理GPU的架构，增加软件层，将AI应用与物理GPU解耦合，通过构建GPU资源池，对资源池中的GPU资源进行统一管理、维护和调配，资源池的大小可以根据系统管理需求而定，比如，可以将数据中心内所有的物理GPU纳入资源池中，也可以将一个GPU服务器作为一个资源池。通过软件定义算力的方式，将传统GPU资源以整卡为单位进行分配，变为以算力1%，显存1MB为基本单位进行资源提供，实现GPU按需分配，整体利用率提升明显。
博客
AI算力池化技术在银行业的最佳实践荣获“科学普及达人奖”
09-09 346
趋动科技作为完全自主可控的软件定义AI算力技术领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证，并认证了ISO9001和ISO27001资质。该解决方案在光大平稳运行2年多以来，我们很高兴地看到，全栈云平台已经高质量地达成了建设目标，作为光大银行数字化转型的稳固底座，成为了覆盖更广泛需求、资源云化、上下游一体调度支配的云计算技术中台。> 场景灵活转换：统一资源池，同时支持推理和训练场景，瞬间转换，资源随时就绪。
博客
AI算力池化技术助力运营商打造智算生态
09-09 782
当前智能算力芯片成本已占到数据中心服务器总体成本80%，然而智能算力芯片作为新型硬件形态，其虚拟化能力存在局限性，算力资源只能以独占方式进行分配，导致底层资源无法被充分利用——据统计，智算中心异构算力硬件总体利用率普遍低于30%，导致算力建设总体成本居高不下。数字经济时代，算力已成为国民经济发展的重要基础设施。趋动科技OrionX猎户座AI算力资源池化解决方案为运营商客户带来创新的异构算力资源管理和分配方案，引入软件定义算力的概念，将OrionX软件部署在多台不同类型的异构算力服务器上，通过网络互联，
博客
GPU设备化到服务化：高质量AI算力基础设施的关键
09-09 1082
OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模式从传统的设备独占式转变为服务化的动态使用，有效减少了算力的闲置时间，提高了资源的利用率。
博客
GPU池化技术保障智慧电网高效建设
09-06 865
绿色、智能、互联已成为电力行业主旋律。趋动科技结合国网现有人工智能平台，实现了人工智能算力资源服务快速“一站式”集成，将人工智能计算任务和算力需求进行沉淀、集中和自动化，提升AI算力全局管理能力及管理精细度，助力客户充分发挥出电力企业级规模优势，全面提升其智能化程度、速度，保障智慧电网建设！为提升算力配给效率、节约社会资源，某省国网公司与趋动科技共同联手建设落地了《大规模异构算力池化调度》项目，有效保障了国网人工智能业务的算力调度供给，缓解算力资源压力，同时为未来国产化异构算力建设提供了前沿研究。
博客
AI算力池化平台加速智能驾驶技术发展
09-06 1070
1886年，世界上第一辆汽车诞生。在随后的一百多年时间里，汽车成为广泛用于社会经济生活多种领域的重要交通运输工具，极大地推动了人类社会经济的发展。进入新世纪，汽车的电动化、智能化日趋明显。在汽车智能化方面，最核心的当属智能驾驶了，从ADAS到智能驾驶，越来越多的AI技术在汽车上得到应用。相比有人驾驶的汽车，智能驾驶汽车需要通过三大关键系统感知层、决策层和执行层，来模拟驾驶人员的眼睛、大脑和四肢。
博客
GPU池化赋能智能制造
09-06 397
论坛期间，趋动科技技术总监张增金先生就“智造底座-AI算力池化的必要与实践”这一重要议题，阐述了趋动科技GPU资源池化解决方案，趋动科技不仅能够通过池化GPU灵活分配资源，从而支持更多人工智能负载，还能为制造场景下运行的应用提供高性能算力，为企业实现算力资源最大化提供有效支撑。算力驱动，赋能未来。现如今，趋动科技正与各位生态伙伴共同努力，持续加速智能制造、工业互联网等数字化应用场景在制造企业的全面落地，大力提升制造业实现数字化转型和智能化变革的速度与效率，让算力驱动企业运作，并实现效益与价值。
博客
智算池化助力城市算力网建设
09-06 703
智算中心是基于最新人工智能理论，采用领先的人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，通过算力的生产、聚合、调度和释放，高效支撑数据开放共享、智能生态建设、产业创新聚集，有力促进AI产业化、产业AI化及政府治理智能化。构建软件定义的异构AI算力资源池，使AI应用无需修改就能透明地共享和使用各智算中心内任何服务器之上的AI算力资源，不但能够提高智算资源利用率，而且可以极大便利AI应用的部署。软件定义AI算力的池化技术，实现了AI芯片的任意虚拟化、远程调用和池化。
博客
B站up主全程教学趋动云部署大模型：Meta新开源【Llama3.1-70B-Instruct】！
09-03 375
Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，在比8种支持语言更广泛的语言集合上进行了训练，预训练模型可以适应多种自然语言生成任务。Llama 3.1 模型集合还支持利用其模型的输出来改进其他模型，包括合成数据生成和数据蒸馏。论文解读：https://blog.csdn.net/v_JULY_v/article/details/140659420。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值