Local Color Transfer via Probabilistic Segmentation by Expectation-Maximization

Abstract

• 我们使用新的期望最大化方案来强加背景色平滑性以推断像素之间的自然连通性。
• 我们的方法考虑局部颜色信息，利用软区域边界对图像进行分割，实现无缝的颜色传递和合成。
• 我们的改进EM方法在色彩处理中具有两个优点：

1. 首先，由于图像空间中不同程度的色彩平滑，我们的算法在收敛时产生一个最优的区域数目，其中每个区域中的色彩统计量可以由高斯混合模型的一个分量充分表征。
2. 其次，根据EM步骤中估计的概率分布，我们允许像素落在几个区域中，从而产生用于无缝合成不同区域的类透明比率。

• 可以实现跨区域的自然颜色过渡，其中强制执行必要的区域内和区域间平滑而不丢失原始细节。

Introduction

• 全局颜色传递缺乏足够的空间考虑，因此不能避免以下两个问题。

1. 一种问题是如果源图像或目标图像包含不同的颜色区域，则全局转移无法区分不同的统计量，并将区域混合起来。
2. 另一个问题是，如果两幅图像的颜色有很大不同，在lαβ色空间中，色度通道会明显地被夸大，从而导致不自然和饱和的结果。

• 我们把存在颜色对应和空间关系的转移称为局部颜色转移。它具有以下两个属性：

1. 使用概率分割的优点在于通过编码像素之间的自然连通性可以增强区域间的平滑性。在我们的方法中，当像素I(x，y)位于区域中心时，其落入单个区域i的概率比较大，而当像素I(x，y)位于边界时，其在多个区域之间的概率分布比较均匀。这保证了跨区域的平滑颜色过渡，而不会混淆区域内部的颜色。
2. 我们用期望最大化(EM)算法通过新的传播步骤来估计这些概率分布，并且适当地将所有分段建模为高斯混合，其中每个分段的颜色统计量由一个分量建模。这保证了如果两个区域分别满足该模型，那么在对应的颜色统计中，这两个区域应该有大约一个峰值。因此，在转移过程中，主色不会混合，并且可以保持跨区域的自然颜色转移。

Previous work

• 分水岭算法[13]执行颜色分割，这很容易产生大量具有硬边界的小区域。均值移位分割[3]通过将空间坐标合并到特征空间表示中来保持空间一致性。
• 在新的EM算法中，我们在三维颜色空间中进行了建模，使得EM估计更加稳定。由于空间相容性和引入自然概率区域边界，我们在环路中引入了附加的传播步骤。

Our approach

• 给定一个输入图像对和，我们首先在每个图像对中构造一个概率分割，使得每个分割区域ri的颜色可以适当地被GMM的高斯分量Gi表示。它保证了两幅输入图像中任意两个区域具有相似的统计模型，并且可以实现它们之间的自然映射。

The original EM algorithm for 3D GMM estimation 

Modified EM for estimating probabilistic segmentation

Summary and conclusion

• 在本文中，我们建议进行局部颜色转移，以自动和忠实地保持颜色和空间的连贯性。 我们提出概率分割，并将该组区域建模为高斯混合。 还通过增加平滑传播步骤来实施修改的EM算法，以强制区域或高斯分量之间的空间和颜色一致性。 我们的统一方法是通用的，可以应用于一系列应用，包括去模糊，图像恢复和灰度图像的着色。