图像修复（Inpainting）技术的前沿模型与数据集资源汇总

于 2024-09-18 09:36:36 发布
阅读量1.1k 收藏 23
点赞数 10
文章标签： 人工智能 gpu算力 AI算力资源池化 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49711991/article/details/142324897
版权

图片

图像修复（Image Inpainting）是一种计算机视觉技术，旨在填补图像中的缺失区域或去除图像中的不需要部分，使其看起来自然且无明显痕迹。其目标是根据图像的上下文信息和周围像素来推断和重建缺失区域的内容，以生成逼真且一致的图像。

Inpainting 技术的应用广泛，包括但不限于：

  • 图像修复：用于修复老旧或损坏的照片，例如修补划痕、污渍或褪色区域。

  • 视觉内容编辑：在照片/视频编辑中，填充被裁剪或移除的部分，或替换特定区域的内容。；移除不需要的对象或元素，实现无缝过渡。

  • 电影与游戏特效：在视觉特效制作中填充虚拟环境中缺失的视图，提升沉浸感。

  • ......

本文精心汇总了 Inpainting 技术的前沿开源模型与数据集资源，旨在加速开发人员的研究进程，轻松获取所需工具与数据。

LaMa

图片

LaMa（LArge MAsk inpainting）是三星、EPFL、Skotech 提出的一个用于图像修复的深度学习模型，专门用于处理大尺寸遮挡区域的图像修复任务。

LaMa特点：

  • 使用一种新修复网络，具有图像范围感受野的快速傅里叶卷积 fast Fourier convolutions (FFCs)

  • 高感受野感知损失（high receptive field perceptual loss）

  • large training masks，能发挥前两个组件的潜力

此外，LaMa 在远高于训练时所见分辨率（~2k，相较于训练时的 256x256）下表现出更良好的泛化能力，并且即使在具有挑战性的场景（如周期性结构的补全）中也能取得出色的表现。

图片

  • 参考论文：Resolution-robust Large Mask Inpainting with Fourier Convolutions(WACV2022)

  • 论文地址：https://arxiv.org/abs/2109.07161

  • 开源地址：https://github.com/advimman/lama

PowerPaint

图片

PowerPaint 是清华大学（深圳）和上海人工智能实验室共同开放的一个高质量多功能的图像修补模型，可以同时支持插入物体、移除物体、图像扩展、形状可控的物体生成，实现关键是通过针对不同修复任务学习定制的任务提示词来进行。

图片

  • 参考论文：A Task is Worth One Word: Learning with Task Prompts for High-Quality Versatile Image Inpainting(ECCV2024)

  • 论文地址：https://arxiv.org/abs/2312.03594

  • 开源地址：https://github.com/open-mmlab/PowerPaint

IOPaint

IOPaint 是一个免费的、开源的、全自动托管的图像修复/扩展工具，由最先进的 AI 模型提供支持。

在 IOPaint 中，可以使用多种模型来修改图像，包括以下几种修改：

  • Erase（擦除）：移除任何不需要的对象、缺陷、水印或人物。还开发了一个 macOS 和 iOS 应用程序 OptiClean，它提供此功能。使用模型为LaMa。

  • Inpainting（修复）：对图像的特定部分进行修改，添加新对象或替换图中的任何内容。使用模型PowerPaint。

  • Outpainting（扩展）：在图像周围生成新的像素，使其变得更大。使用模型为PowerPaint。

，时长00:07

 

  • 官网地址：https://www.iopaint.com/

  • 开源地址：https://github.com/Sanster/IOPaint

BrushNet

图片

BrushNet 是腾讯和港中大联合开发的一个即插即用（plug-and-play）图像修复方法，采用像素级掩膜图像特征插入的架构设计。在包括图像质量、掩膜区域保留和文本一致性在内的七个关键指标上均优于现有模型。

图片

此外，为了训练和评估基于分割的掩膜修复模型，提出 BrushData 和 BrushBench。具体来说，BrushData 为 Laion-Aesthetic 数据集增加了额外的分割掩膜标注。BrushBench 共包含 600 张图像，每张图像都有人工标注的掩膜和字幕注释。BrushBench 中的图像均匀分布在自然图像和人工图像（如绘画）之间。该数据集在不同类别（包括人类、动物、室内场景和室外场景）之间实现了均衡分布。

图片

  • 参考论文：BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion(ECCV2024)

  • 论文地址：https://arxiv.org/abs/2403.06976

  • 开源地址：https://github.com/TencentARC/BrushNet

  • 数据下载：https://tencentarc.github.io/BrushNet/

MAT

图片

MAT 是港中大、Adobe Inc 等提出的第一个基于 Transformer 的能够直接处理高分辨率图像修复系统。MAT 组件包括：Multi-head Contextual Attention 通过动态掩码指示的有效 Tokens，高效地进行长距离依赖建模。通过改进的 Transformer 模型结构，使得在训练大型掩码图像的修复时更加稳定。此外，还设计了新颖的样式操作模块，以提供多样性图像修复。MAT 在多个基准数据集上包括 Places 和 CelebA-HQ，取得了 SOTA 效果。

图片

  • 参考论文：MAT: Mask-Aware Transformer for Large Hole Image Inpainting(CVPR2022 Best Paper Finalists, Oral)

  • 论文地址：https://arxiv.org/abs/2203.15270

  • 开源地址：https://github.com/fenglinglwb/MAT

CelebA Dataset

CelebA Dataset 是一个专注于人脸图像的数据集，包含 20 多万张名人图像，这些图像涵盖了丰富的人脸表情、姿态和光照条件，以及每张图像有 40 个属性注释。为人脸编辑、人脸修复等任务提供了宝贵的训练资源。

图片

  • 下载地址：https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

Places2

Places 数据集由麻省理工学院（MIT）发布，包含 1000 多万张图像，包括 400 多个独特的场景类别。该数据集每类包含 5000 到 30000 个训练图像。

该数据集因其广泛的自然场景覆盖和丰富的图像多样性，非常适合用于构建图像修复模型，使模型能够从多种自然场景中学习分布特性。

图片

  • 下载地址1：https://www.kaggle.com/datasets/nickj26/places2-mit-dataset

  • 下载地址2：http://places2.csail.mit.edu/download.html

NVIDIA Irregular Mask Dataset

NVIDIA 提出用部分卷积（partial convolutions）和掩模自动更新代替卷积运算（automatic mask update step）来实现目前最具艺术性的图像修复结果，包括任何形状、大小、位置或距离图像边界任何距离的空白。

图片

另外，还提出一个大型不规则掩膜数据集（Irregular Mask Dataset）， 55,116 个掩码用于训练，24,866 个掩码用于测试，图像的尺寸均为 512×512。

  • 参考论文：Image Inpainting for Irregular Holes Using Partial Convolutions(ECCV 2018)

  • 论文地址：https://arxiv.org/abs/1804.07723

  • 下载地址：https://nv-adlr.github.io/publication/partialconv-inpainting

趋动云是面向企业、科研机构和个人 AI 开发者构建的开发和推理训练服务，也是全球首个基于 GPU 算力池化云的服务。

趋动云的使命是连接算力·连接人：

📍通过连接全球算力，趋动云可以为用户提供便宜、好用的 AI 算力。
📍通过为AI算法开发全流程提供优化服务、构建全球开发者项目和数据社区，趋动云可以帮助AI开发者接入丰富的生态，快速实现最佳实践。

图片

virtaitech
关注
博客
一文尽享 Matting（抠图）主流开源模型、数据集
10-10 804
本文精心汇总了 Matting（抠图）技术的前沿开源模型、主流算法以及数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。
博客
云平台一键部署【mPLUG-Owl3-7B】阿里开源多模态大模型
10-10 476
mPLUG-Owl3-7B模型作者来自阿里mPLUG团队，他们一直深耕多模态大模型底座，以LLaVA-Next-Interleave为基准，mPLUG-Owl3将模型的First Token Latency缩小了6倍，且单张A100能建模的图像数目提升了8倍，达到了400张图片，且该模型在单图像、多图像和视频任务中的表现依然非常出色。在此之前还提出了：高效多模态底座mPLUG系列模块化多模态大语言模型底座mPLUG-Owl系列文档理解底座mPLUG-DocOwl系列。
博客
图像超补全（Outpainting）技术的前沿模型与数据集资源汇总
09-25 886
lmage outpainting”这一概念是由斯坦福大学 CS230 课程的 Mark Sabini 等人提出，相较于图像修复技术，lmage outpainting 更进一步，能够从给定的图像片段中“补全”出缺失的外延部分，以精妙的方式补全画面，从而构建出一个完整且连贯的视觉世界。另外，所提出的论文在吴恩达的斯坦福大学 CS230 课程中获得了期末 Poster 的第一名。论文地址：https://arxiv.org/pdf/1808.08483。
博客
异构AI算力资源池：智能世界的新型基础设施
09-23 1114
OrionX支持将不同品牌如英伟达、寒武纪、华为海思、海光等构建成一个异构资源池，上层业务人员无须关心底层具体调用哪个品牌、哪个型号的算力资源，底层算力对上层业务人员完全透明，业务人员只需关注需要多少张算力卡，以及需要多少算力、显存资源，进行按需申请即可。通过软件定义的方式，可以构建一个灵活的算力资源池，满足不同应用对于计算能力、存储能力和网络能力的需求，同时实现资源的按需分配。通过软件定义异构AI算力资源池，可以实现对算力资源的精细化管理和优化调度，从而提高算力的利用率和效率。
博客
见刊丨“GPU池化”术语发布
09-14 351
在实践中，很多企业AI系统都是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化。资源池的核心是通过软件的方法，将各种硬件（CPU、内存、磁盘、网络等）变成可以动态管理的“资源池”，从而提升资源的利用率，简化系统管理，实现资源整合，让IT对业务的变化更具适应力。GPU池化也是遵循这样的理念，对物理GPU进行抽象，软件化后形成一个统一的资源池，方便用户按需对GPU资源进行有效调用，无需关注实际物理GPU的大小，数量，型号以及安插的物理位置。
博客
GPU池化如何帮助用户灵活“避坑”
09-14 878
随着5G、人工智能、云计算、大数据、IoT等技术的推动，万物互联的时代即将到来。因为大量AI应用都依赖GPU的超强计算能力，可以预见算力需求将越来越大，GPU在数据中心的地位也会越来越高。然而理想是丰满的，现实却是骨感的，GPU的计算能力虽然很强，但GPU总是因各种原因“罢工”:不是因为GPU故障，就是因为GPU资源不够，导致上层AI应用无法安全、稳定地运行，使AI应用管理员很狼狈，每天总是疲于奔命。究其。
博客
GPU池化为实现Robotaxi按下快进键
09-12 443
该报告从智慧共享出行的远大蓝图讲起，认为随着汽车产业“电气化”、“智能化”、“网联化”、“共享化”进程的不断发展，集“四化”于一身的Robotaxi代表了未来地面共享出行的理想形态。为了突破技术桎梏、推动商业落地，行业参与者从各自角度出发，或通过技术和产品的打磨，或通过生态和模式的创新，或通过政策和标准的制定，推动着自动驾驶行业健康、有序发展，稳步前进。在这个背景下，Robotaxi行业参与者众多，也需要各路“玩家”建立统一的商业视界，在数据高效流通的世界内通力协作，建立智慧共享出行的新模式。
博客
干货分享丨智造底座——AI算力池化的必要与实践
09-12 342
GEMINI AI训练平台以云原生容器服务为基础架构，调用云资源，配合人工智能、大数据以及分布式计算框架，服务于企业的AI算法开发、模型训练以及AI应用部署需求。诸如自动驾驶、电信、银行、互联网等领域的头部客户都已开始采用趋动科技的解决方案，实现算力的灵活调配，从而降低IT成本，提高生产运营效率。然而在现实应用中，作为高级图形处理和算力支持的GPU利用率却并不高，传统的物理绑定GPU方式正在束缚算力资源，让其无法发挥应用的价值，更别提在高级别渲染、虚拟现实和深度学习等项目中灵活的进行资源协作。
博客
OrionX vGPU研发测试场景下最佳实践之SSH模式
09-12 578
目前很多企业在做AI开发的场景时，对GPU资源的管理都是非常简单粗暴的。他们大多都是以开发小组为管理单位、由运维以台为单位分配给开发工程师使用。而在AI开发中涉及开发的场景和测试的场景，很多是将开发测试甚至训练任务都放在一起来使用资源，这时用户就会在资源使用方面遇到一些问题：从管理角度看，用户会遇到资源无法统一管理和调度、也无法做到很好的监控和资源统计的问题；从算法人员的角度看，他们面临的问题就是资源紧张须相互协调、无法灵活动态地使用和申请资源的问题。
博客
OrionX vGPU 研发测试场景下最佳实践之Jupyter模式
09-11 1320
通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。
博客
OrionX vGPU 研发测试场景下最佳实践之CodeServer模式
09-11 1001
在之前的文章中，我们讲述了OrionX vGPU基于SSH模式、以及Jupyter模式下的最佳实践（文末附回顾链接~），今天，让我们走进CodeServer模式的最佳实践。• CodeServer模式：微软的VSCode的服务器版本，近年很多企业在采用该工具，使用资源的方式类似Jupyter，也是部署在虚机或者容器当中。
博客
OrionX GPU算力池助力AI OCR场景应用
09-11 1243
OrionX通过软件定义AI算力，颠覆了原有的AI应用直接调用物理GPU的架构，增加软件层，将AI应用与物理GPU解耦合，通过构建GPU资源池，对资源池中的GPU资源进行统一管理、维护和调配，资源池的大小可以根据系统管理需求而定，比如，可以将数据中心内所有的物理GPU纳入资源池中，也可以将一个GPU服务器作为一个资源池。通过软件定义算力的方式，将传统GPU资源以整卡为单位进行分配，变为以算力1%，显存1MB为基本单位进行资源提供，实现GPU按需分配，整体利用率提升明显。
博客
AI算力池化技术在银行业的最佳实践荣获“科学普及达人奖”
09-09 354
趋动科技作为完全自主可控的软件定义AI算力技术领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证，并认证了ISO9001和ISO27001资质。该解决方案在光大平稳运行2年多以来，我们很高兴地看到，全栈云平台已经高质量地达成了建设目标，作为光大银行数字化转型的稳固底座，成为了覆盖更广泛需求、资源云化、上下游一体调度支配的云计算技术中台。> 场景灵活转换：统一资源池，同时支持推理和训练场景，瞬间转换，资源随时就绪。
博客
AI算力池化技术助力运营商打造智算生态
09-09 792
当前智能算力芯片成本已占到数据中心服务器总体成本80%，然而智能算力芯片作为新型硬件形态，其虚拟化能力存在局限性，算力资源只能以独占方式进行分配，导致底层资源无法被充分利用——据统计，智算中心异构算力硬件总体利用率普遍低于30%，导致算力建设总体成本居高不下。数字经济时代，算力已成为国民经济发展的重要基础设施。趋动科技OrionX猎户座AI算力资源池化解决方案为运营商客户带来创新的异构算力资源管理和分配方案，引入软件定义算力的概念，将OrionX软件部署在多台不同类型的异构算力服务器上，通过网络互联，
博客
GPU设备化到服务化：高质量AI算力基础设施的关键
09-09 1105
OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模式从传统的设备独占式转变为服务化的动态使用，有效减少了算力的闲置时间，提高了资源的利用率。
博客
GPU池化技术保障智慧电网高效建设
09-06 874
绿色、智能、互联已成为电力行业主旋律。趋动科技结合国网现有人工智能平台，实现了人工智能算力资源服务快速“一站式”集成，将人工智能计算任务和算力需求进行沉淀、集中和自动化，提升AI算力全局管理能力及管理精细度，助力客户充分发挥出电力企业级规模优势，全面提升其智能化程度、速度，保障智慧电网建设！为提升算力配给效率、节约社会资源，某省国网公司与趋动科技共同联手建设落地了《大规模异构算力池化调度》项目，有效保障了国网人工智能业务的算力调度供给，缓解算力资源压力，同时为未来国产化异构算力建设提供了前沿研究。
博客
AI算力池化平台加速智能驾驶技术发展
09-06 1081
1886年，世界上第一辆汽车诞生。在随后的一百多年时间里，汽车成为广泛用于社会经济生活多种领域的重要交通运输工具，极大地推动了人类社会经济的发展。进入新世纪，汽车的电动化、智能化日趋明显。在汽车智能化方面，最核心的当属智能驾驶了，从ADAS到智能驾驶，越来越多的AI技术在汽车上得到应用。相比有人驾驶的汽车，智能驾驶汽车需要通过三大关键系统感知层、决策层和执行层，来模拟驾驶人员的眼睛、大脑和四肢。
博客
GPU池化赋能智能制造
09-06 405
论坛期间，趋动科技技术总监张增金先生就“智造底座-AI算力池化的必要与实践”这一重要议题，阐述了趋动科技GPU资源池化解决方案，趋动科技不仅能够通过池化GPU灵活分配资源，从而支持更多人工智能负载，还能为制造场景下运行的应用提供高性能算力，为企业实现算力资源最大化提供有效支撑。算力驱动，赋能未来。现如今，趋动科技正与各位生态伙伴共同努力，持续加速智能制造、工业互联网等数字化应用场景在制造企业的全面落地，大力提升制造业实现数字化转型和智能化变革的速度与效率，让算力驱动企业运作，并实现效益与价值。
博客
智算池化助力城市算力网建设
09-06 718
智算中心是基于最新人工智能理论，采用领先的人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，通过算力的生产、聚合、调度和释放，高效支撑数据开放共享、智能生态建设、产业创新聚集，有力促进AI产业化、产业AI化及政府治理智能化。构建软件定义的异构AI算力资源池，使AI应用无需修改就能透明地共享和使用各智算中心内任何服务器之上的AI算力资源，不但能够提高智算资源利用率，而且可以极大便利AI应用的部署。软件定义AI算力的池化技术，实现了AI芯片的任意虚拟化、远程调用和池化。
博客
B站up主全程教学趋动云部署大模型：Meta新开源【Llama3.1-70B-Instruct】！
09-03 398
Llama 3.1 的指令调优版本（8B、70B、405B）针对多语言对话用例进行了优化，在比8种支持语言更广泛的语言集合上进行了训练，预训练模型可以适应多种自然语言生成任务。Llama 3.1 模型集合还支持利用其模型的输出来改进其他模型，包括合成数据生成和数据蒸馏。论文解读：https://blog.csdn.net/v_JULY_v/article/details/140659420。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值