重着色是可视媒体编辑领域的热门研究方向,广泛应用于电影制作和艺术设计中,在图像视频的颜色编辑中发挥着重要的作用。
目前基于调色板的图像重着色方法主要有两类:第一类方法通过聚类提取图像调色板,然后通过RBF插值获取每个像素点关于聚类中心的权重进行图像重着色编辑。第二类方法通过计算凸包提取图像调色板。这类方法将图像看作RGB颜色空间的点集,计算该点集的凸包并进一步简化。然后通过MVC插值的方法求得每个像素点关于调色板的权重,最后通过修改调色板的颜色实现图像重着色。
据调研,目前大部分基于调色板的颜色编辑主要集中在图像领域,尚无基于调色板的视频重着色算法被提出。一些经典的方法如编辑传播和颜色迁移等虽然可以对图像或视频进行颜色编辑,但这些方法仅支持非常有限的用户编辑。因为这类方法可以自动计算目标图像(视频)与参考图像(视频)在颜色和语义层面的相关性并自动迁移。
本文提出一种基于4D几何调色板的视频重着色算法,该方法将视频视为RGBT空间的点集,构建该点集的4D多面体作为该视频的几何调色板。大量实验表明,该方法生成的调色板具有较高的重建精度和紧致性,调色板的几何结构很好地对应了视频的颜色变化。同时,该方法支持简单、高效、自然的视频重着色编辑。
文章发表于:ACM SIGGRAPH 2021
论文地址:Video Recoloring via Spatial-Temporal Geometric Palettes
项目代码:https://github.com/Zhengjun-Du/GeometricPaletteBasedVideoRecoloring