泊松融合vs图像和谐化

大的方向来说图像融合可分为三个层次：像素级融合、特征级融合和决策级融合。
传统的融合算法有Alpha blending 、Laplacian Pyramid blending、Poisson Blending。

风格图像和谐化(Painterly Image Harmonization)

1、Multi-scale image harmonization 该论文没有采用深度学习

2、Painterly Image Harmonization in Dual DomainsAAAI 2023
代码链接：https://github.com/bcmi/PHDNet-Painterly-Image-Harmonization

3、Deep Painterly Harmonization 2018

4、Visual Attribute Transfer through Deep Image Analogy 2017

5、Image Melding: Combining Inconsistent Images using Patch-based Synthesis

图像和谐化

图像和谐化拓展研究方向，比如人脸和谐化、人像和谐化、视频和谐化、高分辨率图像和谐化、不和谐区域检测等。
技术方向：注意力机制、颜色变换（像素到像素的图像和谐化方法、颜色到颜色的图像和谐化）
数据集：iHarmony4
Awesome-Image-Harmonization
图像和谐化阶段性小结(2022)
1、Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization

2、FRIH: Fine-grained Region-aware Image Harmonization

3、Image Harmonization by Matching Regional References

4、Image Harmonization with Region-wise Contrastive Learning

5、Region-Aware Adaptive Instance Normalization for Image Harmonization. CVPR (2021)
code

6、Harmonizer: Learning to Perform White-Box Image and Video Harmonization（ECCV2022）
我们观察到调整基本图像过滤器的输入参数，例如亮度和对比度，足以让人类从合成图像中生成逼真的图像。因此，我们将图像协调作为一个图像级回归问题来学习人类用于该任务的过滤器的参数。

回归分析的实际意义就是对于两个具有相关关系但不能给出二者确切函数关系的变量，可以在平均意义下给出两者的近似关系。而分析这两个具有相关关系的变量在平均意义下的函数关系表达式，就是回归函数。
数学建模里面给回归的定义：
确定两种或者两种以上变量间相互依赖的定量关系的统计分析方法就是回归分析，回归分析主要分为一元回归，多元回归以及线性回归和非线性回归。
也就是说，两个具有相关关系（非确定性关系）的变量，我们通过实际数据绘制散点图，模拟它的趋势，选择合适的回归函数确定这两个变量的可能性关系。

Alpha融合

Alpha融合是一种将前景通过透明度叠加到背景上的过程。透明度通常是图像的第四通道，当然也可以被分离出来成为一个单独的图像。这个透明的掩模通常被称为alpha掩模。Alpha融合是一个升级版的cut-and-paste，表示公式：output = foreground * mask + background * (1-mask)

拉普拉斯金字塔融合（Laplacian Pyramid Blending）

拉普拉斯金字塔融合也称为多频带融合（Multi-band Blending），可以看做是对Alpha融合的一种改进，避免出现鬼影（Ghosting）和截断（Seams）现象。
方法原理： 图像可以认为是由不同频率的信息组成，包含了很多不同的特征，频谱跨度很大。

• 图像中的低频信号和高频信号也叫做低频分量和高频分量。

• 图像中的高频分量，指的是图像强度（亮度/灰度）变化剧烈的地方，也就是我们常说的边缘（轮廓）；

• 图像中的低频分量，指的是图像强度（亮度/灰度）变换平缓的地方，也就是大片色块的地方。

• 人眼对图像中的高频信号更为敏感。

因此对不同频率分量选择不同大小的融合窗口进行处理，在低频处采用较大的融合窗口以避免截断现象，在高频处采用较小的融合窗口以避免鬼影现象，最终得到平滑无鬼影的融合结果。

泊松融合

Poisson Image Editing
泊松融合（Poisson Blending）是图像处理领域著名的图像融合算法，自从2003年发表以来，有很多基于此算法的应用和改进研究出现。泊松融合无需像Alpha blending一样的精确抠图就可以得到很自然的结果。

OpenCV实现函数原型：
1、seamlessClone(src, dst, mask, center, flags) 常规融合（Normal Cloning）、混合融合（Mixed Cloning）、单色迁移（Monochrome Transfer）

• NORMAL_CLONE: 不保留dst 图像的texture细节。目标区域的梯度只由源图像决定。
• MIXED_CLONE: 保留dest图像的texture 细节。目标区域的梯度是由原图像和目的图像的组合计算出来(计算dominat gradient)。
• MONOCHROME_TRANSFER: 不保留src图像的颜色细节，只有src图像的质地，颜色和目标图像一样，可以用来进行皮肤质地填充。

2、colorChange(src, mask, result, red_mul, green_mul, blue_mul) 局部颜色改变（Local Color Change）

3、illuminationChange(src, mask, result, alpha=0.2f, beta=0.4f) 局部亮度改变，消除高亮区域（Local Illumination Change）

4、textureFlattening(src, mask, result, low_thresh, high_thresh, kernel_size) 纹理平整（Texture Flattening）