(一零三):CLIPascene: Scene Sketching with Different Types and Levels of Abstraction
- 出处:arXiv
- 代码:有展示示例代码,https://clipascene.github.io/CLIPascene/
- 题目:不同类型和抽象层次的场景草图生成
- 主要内容:任务为给图像画场景素描,从两个角度:(1)考虑保真度和简单性设计两个MLP网络,一个学习笔画,一个删除笔画。(2)将图像分成前景和背景(使用预训练的U2-Net提取场景的突出对象;预训练的LaMa修复模型对缺失区域进行修复。)
Abstract
在本文中,我们提出了一种使用不同类型和多层抽象将给定场景图像转换为草图的方法。我们区分两种类型的抽象。
第一种方法考虑草图的保真度,将其表示从更精确的输入描述变为更松散的描述。
第二个是由草图的视觉简单性定义的,从详细的描绘过渡到稀疏的草图。在两个抽象轴中使用显式的分离元素(每个抽象轴都有多个层次)为用户提供了额外的控制,可以根据他们的个人目标和偏好选择所需的草图。
为了在给定的保真度和模拟水平上形成草图,我们训练了两个MLP网络。第一个网络学习所需的笔画位置,而第二个网络学习逐渐从草图中删除笔画,而不损害其可识别性和语义。我们的方法能够生成复杂场景的草图,包括那些具有复杂背景(例如自然和城市环境)和主题(例如动物和人)的场景,同时描绘输入场景的保真度和简单性方面的逐渐抽象。
1. Introduction
一些研究表明,抽象的、最小的表达不仅在视觉上令人愉悦,