基于图像分割及修复的数据生成

摘  要

随着硬件及技术的发展，深度学习技术得到广泛的研究及应用，而数据作为驱动深度学习发展的重要输入，变得越来越重要。但是针对一些特殊场景，存在数据少、隐私风险等问题。针对上述问题，结合任意物体分割技术和图像修复技术，消除图像中隐私信息，生成不包含隐私数据的新图像；或结合生成模型，在去除指定目标同时生成包含其他正样本的图像；亦或者保留指定正样本，更换背景，生成不同场景数据。实验结果表明该种数据生成的有效性。

   0 1   

 概 述

随着深度学习及大模型技术的发展，数据变得愈发重要。但特殊场景的数据存在数据量少、收集困难等问题，此外在已收集的数据中往往包含车牌、人脸等隐私数据以及一些其他的敏感数据。在以往的研究中，对于小样本任务的处理，往往采用迁移学习进行微调参数学习；对于敏感及隐私数据源，往往在数据上进行马赛克处理，遮挡敏感数据。

本文提出一种基于图像分割［1］和图像修复［2］技术的数据生成流程结构。该方法在用户输入的指导下，基于最新的任意物体分割模型自动选取合适的目标图像区域，接着采用前沿的图像填充技术，将选中的目标区域结合周围像素生成目标图像，进而生成一组新的数字图像。同时，该结构还可以结合图像生成大模型，基于现有图像，在指定区域生成新的目标样本或者保留现有目标，更换背景生成新的场景图像。

   0 2   

技术方案

本文重点介绍指定物体消除式数据生成结构，该结构包含以下3个部分：交互式区域选择、图像自动分割、图像自动修复，同时也可以扩展应用到目标替换和背景替换。数据生成结构如图1所示。

图1 数据生成结构

2.1 交互选择

交互选择是选择给定图中的目标物区域，包括点选以及框选2种方式。点选是指单次点击目标区域，分割模型根据点击位置自动分割出目标的掩码；框选是预先指定一个目标区域，然后分割模型自动在目标区域内分割出目标掩码。

点选包含正样本点选择和负样本点选择，正样本点明确当前位置是目标，负样本点明确当前位置为背景区域。点选过程可以是一次性输入所有正负样本点，进而通过模型直接获得分割结果；也可以是渐进式选择，即在上一步点选及分割结果的基础上，根据分割效果，选择加入正样本或者负样本点，以达到进一步优化分割效果的目标。综上所述，点选的优点是选择快速，不限制选择范围，比如显著的大目标ÿ