LayoutVAE 和LayoutGAN

hi，大家好~我是shadow，一枚设计师/全栈工程师/算法研究员，目前主要研究方向是人工智能写作和人工智能设计，当然偶尔也会跨界到人工智能艺术及其他各种AI产品。这是我发在《人工智能Mix》的一篇论文阅读笔记。

文末了解《人工智能Mix》 

最近阅读了2篇论文，分别从VAE和GAN的技术架构出发，探索了如何让机器预测出合适的图像布局这个问题。

LayoutVAE

Stochastic Scene Layout Generation From a Label Set

LayoutGAN

generating graphic layouts with wireframe discriminators

 

- Layout是什么

首先，了解下Layout是什么？具体指的是Semantic Layouts，如下图

这是关于文档的布局，我们使用word或者pages软件的时候，可以用一个方框来填充段落、标题、图片等，这个方框，就是布局。再看UX设计师和程序员比较熟悉的APP界面，如下图所示：

 

APP界面的布局，程序员应该发现了，这跟html里的div是不是很像？我们用chrome调试一个web页面，如下图所示：

这一类都是属于软件界面里的布局，再如设计师熟悉的sketch，我们把鼠标移动到元素上，会出现一个蓝色的框，这是一种设计工具里的布局，如下图所示。

以上的布局更像是表达图像上元素的边界范围，取决于渲染引擎（chrome）本身或者软件（设计工具）。

其实，还有另一种布局，比如建筑设计里的功能布局，如下图的彩色填充：

用颜色填充满一个空间，表达这个空间的功能（比如起居室、卫生间、会客厅等）。这是带有领域知识的布局（建筑设计语言）。

我们继续往下了解LayoutVAE和LayoutGAN。

 

- LayoutVAE

Stochastic Scene Layout Generation From a Label Set

该论文基于VAE的技术架构，通过输入标签，预测可能的布局方式。这个应用场景比较有潜力，比如我们要设计一张海报，只有输入海报里的元素有哪些，机器会自动提供几种可能的布局供参考。 

 

- LayoutGAN

generating graphic layouts with wireframe discriminators

传统的GAN会在像素级别上合成布局，从而无法获取不同元素之间的依存关系，更难以捕获布局方式。因此，LayoutGAN尝试通过对语义和几何关系进行建模来解决此问题。

 

核心是下面这个自定义的几何参数的数据结构：

从实验结果来看，利用几何参数的数据结构，改进GAN的像素级输出，也是一种方法。

以上2篇论文，对布局的探索，离我们现实的应用场景存在一定的距离，但是其技术思路是可以借鉴参考的。在应用场景上的使用，还需我们对业务本身有深刻的理解，调整、融合相关技术来实现。

  

 

---

mixlab还有很多相关的智能设计文章，

欢迎前往这个星球

《人工智能Mix+》

每天更新至少一篇笔记，

目前正在优惠期间，

仅需10元，

欢迎加入。