ACM MM'22 & ECCV'22 | 6篇论文带你了解广告创意的“黑科技”

创意是广告的呈现方式，是广告不可或缺的部分。美观吸睛的图片和视频创意一直是广告主的心头好。为此，阿里妈妈开发了一系列智能创意技术，提供丰富的创意的创意制作工具。这些智能创意的背后隐藏了哪些”黑科技“呢？

近日，正值本年度多媒体和计算机视觉领域顶会 ACM MM 与 ECCV 放榜，阿里妈妈智能创意方向共有6篇论文被录用。本文通过论文速览带你了解这些新的算法进展，欢迎阅读交流~

🏷 ACM MM | Self-Supervised Text Erasing with Controllable Image Synthesis

基于可控图像生成的自监督文字擦除方法

下载：https://arxiv.org/abs/2204.12743

简介：文字擦除任务是指对图像中的文字进行去除并进行缺失内容填补，以便还原出纯净图片用于重编辑。常规的文字擦除模型通常需要大量的标注数据用于训练，而电商海报中多样的文字类型则增加了数据标注以及有监督训练的难度。因此我们提出了自监督的学习框架，可以自动合成训练数据且同时进行文字的擦除。该方法由可控文字合成模块以及文字擦除模块构成，为了减轻合成数据和真实数据之间的风格差距，我们构建了一个策略网络，并通过有效的奖励函数来选择合适的风格参数。除此之外，我们还提出了三元组擦除损失函数来加强复杂背景纹理的生成。在不利用标注数据的情况下，我们提出的方法在高分辨率的创意图PosterErase数据集中取得了领先的视觉效果，FID指标相对于其他方法提升了20.9%，并在公开数据集中也超过了现有的有监督方法。该方法可用于还原去除“牛皮癣”后纯净的商品图，而纯净的商品图是广告创意图片制作的基础。

图 (a)展现了两种不同的合成过程。过去的方式(顶部)通常在预定义的文字风格空间中进行均匀采样，该方法生成的文字与真实场景的数据分布相差较大；我们的方法STE(底部)则是通过有效的奖励函数学习真实的数据分布；(b)则是基于以上两种不同方式的效果，三列分别为输入图片、过去方式擦除结果、我们的STE方式擦除效果

🏷 ACM MM | Estimation of Reliable Proposal Quality for Temporal Action Detection

基于动作边界置信度的视频时序动作检测

下载&#