【论文阅读】Learning to Paint with Model-based Deep Reinforcement Learning

Abstract

通过结合神经渲染器和基于模型的深度强化学习（DRL），教机器像人类画家一样画画。agent可以产生笔画的坐标点、半径、透明度、颜色值等。

Introduction

本文定义了人工智能绘画，agent可以按顺序在画布上绘制笔画，以生成类似于给定目标图像的绘画。

agent绘制纹理丰富的图像存在三个挑战：

• 首先，要像人一样绘画，需要agent具有将给定目标图像在空间上分解为笔画，然后以正确顺序将它们画在画布上的能力。agent需要可视地解析目标图像，了解画布的当前状态，并制定有关未来笔画的预见计划。为了解决此问题，一种常见的方法是在每个步骤中为笔画分解提供有监督的损失。这种方法在计算上是消耗非常大的。同样，纹理丰富的图像绘画通常需要数百次笔画才能生成与目标图像相似的绘画，这比涂鸦，素描或字符书写要高数十倍。为了处理这样的长期计划任务，强化学习（RL）是一个不错的选择，因为RL的目的是使整个绘画过程的累积奖励最大化，而不是使每个步骤的监督损失最小化。这使agent具有远见卓识，计划笔画分解和大量步骤的绘画。此外，本文采用对抗训练策略来训练绘画agent。该策略已成功用于像素级图像生成任务，并且还可以帮助agent进行绘制；
• 第二，细微的笔画参数空间（包括笔画位置和颜色）对于绘画至关重要。先前的工作将笔画参数空间设计为离散的，并且每个参数只有有限的选择数量，这不再适用于纹理丰富的绘画。由于大多数RL算法处理细粒度参数空间的能力较弱（例如 深度Q网络（DQN）和策略梯度（PG）），因此在连续空间上定义笔画参数提出了巨大挑战。相反，深度确定性策略梯度（DDPG）设计用于处理连续的动作空间，使用DDPG训练的agent已经显示出微妙的控制性能。本文在方法中采用DDPG，以使agent具有绘画能力；
• 第三，高效的绘画模拟器对于agent的性能至关重要，尤其是在画布上绘画数百个笔划的情况下。大多数工作通过与模拟的绘画环境进行交互来绘画。这种方法既费时又不灵活。取而代之的是，本文使用神经网络（NN）训练端到端渲染器，该渲染器将笔画参数直接映射到笔画。渲染器可以实现各种笔画设计。 而且，渲染器是可以与DDPG巧妙地组合在一起的差分模型，是一种基于模型的DRL算法，极大地提高了原始DDPG的性能。

强化学习（RL）旨在最大化整个绘画过程的累积回报，而不是最小化每一步的监督损失，这使得agent有先见之明计划笔画分解和大规模步骤绘画。此外，本文采取对抗训练策略来训练绘画agent。这种策略成功地用于像素级图像生成任务，也有助于agent绘制。
使用神经网络（NN）来训练端到端渲染器，该渲染器直接将笔画参数映射到笔画。渲染器可以实现各种笔画设计。此外，渲染器是差分，可以与DDPG巧妙地结合作为一种基于模型的DRL算法，这极大地提高了原始DDPG的性能。

总而言之，本文的贡献如下：

• 本文使用基于模型的DRL算法解决绘画任务，允许agent按顺序将目标图像分解为数百个笔触，以生成类似于目标图像的绘画；
• 神经渲染器用于高效绘画，并且还与各种笔划设计兼容。 此外，神经渲染器有助于本文提出的基于模型的DDPG；
• 本文所提出的绘画agent可以很好地处理多种类型的目标图像，包括数字，门牌号，肖像和自然场景图像。

Related work

基于笔画的渲染（SBR）是一种通过放置离散元素（例如笔画或点画）来创建非真实感图像的自动方法，这与本文提出的任务类似。大多数基于笔划的渲染算法会贪婪地专注于每个步骤或需要用户交互。

与本文的agent类似，SPIRAL是经过对抗训练的RL agent，能重建图像的高级结构。StrokeNet结合了可区分的渲染器和递归神经网络（RNN）来训练agent进行绘画，但是无法在彩色图像上进行泛化。这些方法不足以处理这项复杂的任务，并且需要大量的计算资源。Doodle-SDQ训练agent以DQN模拟人类涂鸦。先前，Sketch-RNN使用顺序数据集在草图中获得良好的结果。Artist Agent探索使用RL自动生成单个笔画。

这些算法是无模型的，这意味着agent仅需要根据来自环境的样本来最大化期望的回报。对于某些任务，agent可以通过做出预测来更好地了解环境。另一种有效的方法是建立一个生成神经网络模型。 Gu等人探索使用基于模型的方法来加速DQN。

Painting Agent

Overview

绘画agent的目标是首先用笔画表示分解给定的目标图像，然后在画布上绘制笔画以形成绘画。 为了模仿人类的绘画过程，agent被设计成基于观察画布的当前状态和目标图像来预测下一个笔画。 更重要的是，为了使agent获得一次预测一个合适的笔画的能力，即笔画与先前的笔画和未来的笔画很好地兼容，它需要精心设计反馈机制。 本文假设反馈应该是完成一笔绘画后获得的奖励，并且agent在完成所有笔画之后追求最大化累积奖励。 本文给出了图2中整体架构的图表。

（a）在每一步，the policy (aka actor)都会根据画布和目标图像给出一组笔画参数。 渲染器跟据这一组笔画参数在画布上渲染笔画。（b）在学习期间，the evaluator (aka critic)根据目标图像和渲染的画布评估动作。 在本文的实现中，policy，evaluator和渲染器都是使用神经网络实现。

The Model

• State and Transition Function：状态空间由agent可以观察到的环境中的所有可能的信息构成。我们将状态定义为三个部分：画布，目标图像和步骤编号。
  
  转移函数 s t + 1 =