引言
作者首次将强化学习和生成对抗网络结合起来,用于点云数据生成。通过控制GAN将有噪声的部分点云数据转换为高保真度的补全形状。由于GAN不稳定且难以训练,作者通过:(1)在隐空间表示上训练GAN来解决该问题,该表示的维数与原始点云输入相比减小了;(2)使用RL agent来找到更优的输入给GAN以生成最适合当前不完整点云输入的形状的潜在空间表示。这是首次尝试训练一个RL agent来控制GAN,它有效地学习了从GAN的输入噪声到点云潜在空间的高度非线性映射。原文链接:RL-GAN-Net。代码链接:RL-GAN Net-Github
让我们来看看效果:
如图所示,最左边一列是groundtruth图像,Pin表示输入的缺失点云图像,AE表示自编码器产生的补全输出图像,RL-GAN-Net表示作者的方法得到的结果,最后一列是作者的方法与groundtruth重合得到的结果。接下来看一下具体是如何实现的。
背景知识
本文将强化学习(Reinforcement Learning)和生成对抗网络(Generative Adversarial Nets)结合起来,提出了一种新