前言
泊松融合（Poisson Blending）是图像处理领域著名的图像融合算法，自从2003年发表以来，有很多基于此算法的应用和改进研究出现。泊松融合无需像Alpha blending一样的精确抠图就可以得到很自然的结果。
关于泊松融合原理部分的解析见之前的博客《泊松融合原理浅析》。
关于针对OpenCV中泊松融合的实现代码（以normalClone为例）进行解读见之前的博客《OpenCV源码解读：泊松融合seamlessClone（normalClone）》。
在使用泊松融合OpenCV实现的方法时，需要注意一些细节，否则在某些特定场景下可能出现融合结果有细微差异的问题。
问题
在泊松融合过程中，有一个比较重要的步骤就是计算源图像（记为src）融合到目标图像（记为dst）上的具体位置和大小。
反映到具体实现部分，就是根据传参传入的mask和p计算取的src以及dst的融合部分。OpenCV实现代码如下：
特别注意这三行代码：
Mat mask_inner = mask(Rect(1, 1, mask.cols - 2, mask.rows - 2));
copyMakeBorder(mask_inner, mask, 1, 1, 1, 1, BORDER_ISOLATED | BORDER_CONSTANT, Scalar(0));
Rect roi_s = boundingRect(mask);
这三行代码将传入的mask进行了边界处理，将mask的边界用0做了填充，然后调用boundingRect求外接矩形。确保了边界能够正常参与到泊松方程构建。
用于截取src的融合区域的roi_s确定了，随后根据roi_s和传入的点p，计算用于截取dst融合区域的roi_d。
Rect roi_d(p.x - roi_s.width / 2, p.y - roi_s.height / 2, roi_s.width, roi_s.height);
最后根据计算得到的roi_s和roi_d分别从src和dst中截取用于融合的图像区域，以及用于指导融合的mask区域。
Mat destinationROI = dest(roi_d).clone();
Mat sourceROI = Mat::zeros(roi_s.height, roi_s.width, src.type());
src(roi_s).copyTo(sourceROI,mask(roi_s));
Mat maskROI = mask(roi_s);
Mat recoveredROI = blend(roi_d);
由于这一部分计算在函数cv::seamlessClone中内置，所以需要注意点p的计算。特别是当在用于融合的原始dst和原始src有着一样的size时，点p的计算则需要根据这一内置计算过程和使用的mask特殊处理。
假设这样一种场景，源图像大小为(128, 128, 3)，目标图像大小也为(128, 128, 3)，mask大小是(128,128)。我们希望将源图像按照给定的mask融合到目标图像上。请注意mask在保证是闭区间的条件下，其边界形状可以是任意的。也就是说其边界像素点可以是矩形（128, 128）内的任意点。这时点p则一般根据mask的外接矩形计算得到，取值通常是矩形长宽的中点。
Rect roi = cv::boundingRect(mask)
Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))
在绝大多数情况下，特别是只融合单张图片时，融合不会有明显的问题。但是当对视频中某些场景的连续帧都做相同的融合操作时，根据mask计算的点p则可能导致融合结果不自然的问题，在视频中能明显的观察到融合结果抖动的现象。
分析
深入分析，发现在产生抖动的情况下，mask在边界上的表现不一致，部分帧的mask边界在非图像边界上，而部分帧的边界直接到了图像的边界。推测这是导致视频连续帧融合结果抖动的原因。
根据mask计算点p的操作：
Rect roi = cv::boundingRect(mask)
Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))
以及在函数cv::seamlessClone中内置的mask处理：
Mat mask_inner = mask(Rect(1, 1, mask.cols - 2, mask.rows - 2));
copyMakeBorder(mask_inner, mask, 1, 1, 1, 1, BORDER_ISOLATED | BORDER_CONSTANT, Scalar(0));
Rect roi_s = boundingRect(mask);
Rect roi_d(p.x - roi_s.width / 2, p.y - roi_s.height / 2, roi_s.width, roi_s.height);
试想有下列三种情况（图像Size均为(128,128)）：
（1）mask的点在图像的上下左右边界上出现
也就是通过Rect roi = cv::boundingRect(mask)得到的roi为(0，0，128，128)，此时点p经过Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))为（64，64）。
将该mask和点p传入cv::seamlessClone中，mask经过copyMakeBorder处理后图像边界后的点都被清除，计算得到的roi_s为(1，1，126，126)。
根据roi_s和点p计算得到的roi_d为(64-126/2，64-126/2，126，126)，即(1，1，126，126)。此时roi_s和roi_d一致，截取的部分一致。
（2）mask的点在图像的上左右三个边界上出现，mask下边界点在图像下边界内1个像素
此时通过Rect roi = cv::boundingRect(mask)得到的roi为(0，0，127，127)，此时点p经过Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))，由于向下取整值为（63，63）。
将该mask和点p传入cv::seamlessClone中，mask经过copyMakeBorder处理后图像边界后的点都被清除，计算得到的roi_s为(1，1，126，126)。
根据roi_s和点p计算得到的roi_d为(63-126/2，63-126/2，126，126)，即(0，0，126，126)。此时roi_s和roi_d不一致，截取的部分不一致。dst上从坐标(0, 0)开始截取，而src上从坐标(1, 1)开始截取。
当视频的前后帧融合mask在（1）和（2）类型间交替时，则融合的结果会出现抖动现象。人眼对这种微小的抖动特别敏感。
（3）mask的边界点均在图像的上下左右边界内1个像素
此时通过Rect roi = cv::boundingRect(mask)得到的roi为(1，1，126，126)，此时点p经过Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))值为（64，64）。
将该mask和点p传入cv::seamlessClone中，mask经过copyMakeBorder处理后计算得到的roi_s为(1，1，126，126)。
根据roi_s和点p计算得到的roi_d为(64-126/2，64-126/2，126，126)，即(1，1，126，126)。此时roi_s和roi_d一致，截取的部分一致。
总结：也就是说如果在src和dst拥有相同Size时，如果直接根据mask的外接矩形计算点p，那么可能因为（1）和（2）情形的间隔出现，导致视频连续帧融合结果抖动。
解决
在分析清楚了问题所在，需要想办法解决这一问题。
不过有一个比较疑惑的问题，就是对于这种1个像素的差异，人眼真的能如此敏感吗？
写个测试脚本来模拟一下这种抖动情况：
# coding: utf-8
__author__ = 'TracelessLe'
import os
import cv2
def cv2_load_material(file_path):
"""
Load a full list of frames in memory.
"""
cap = cv2.VideoCapture(file_path)
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
res = []
while True:
ret, frame = cap.read()
if ret is False:
break
res.append(frame)
material = res
total_frames = len(res)
cap.release()
return material, frame_width, frame_height, fps
def cv2_output_video(output_imgs, output_file_path, fps, frame_size):
size = frame_size
fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
vout = cv2.VideoWriter()
vout.open(output_file_path, fourcc, fps, size, True)
for img in output_imgs:
vout.write(img)
vout.release()
# 模拟一个像素的抖动
def monidoudong_1pixel(img_bgr_list):
for i, img_bgr in enumerate(img_bgr_list):
bbox = img_bgr[250:660,200:460,::]
if i%2 == 0:
text = f'frame: {i}'
cv2.putText(img_bgr, text, (int(100), int(100)),
cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 1, cv2.LINE_AA)
img_bgr[249:659,200:460,::] = bbox
if __name__ == "__main__":
####测试单个视频用#####
file_path = 'test.mp4' #原视频大小720*1280
img_bgr_list, frame_width, frame_height, fps = cv2_load_material(file_path)
out_file_path = './out-1pixel.mp4'
monidoudong_1pixel(img_bgr_list)
cv2_output_video(img_bgr_list, out_file_path, fps, (frame_width, frame_height))
截取抖动区域如下，可以看到脸部存在上下抖动现象：
在弄清楚原因后，就能知道从什么角度入手解决这种抖动问题。通过保持与cv::seamlessClone函数内部一致的mask处理，避免roi_d和roi_s对应图像区域不一致的问题。
将求点p的代码
Rect roi = cv::boundingRect(mask)
Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))
改为：
Mat mask_inner = mask(Rect(1, 1, mask.cols - 2, mask.rows - 2));
copyMakeBorder(mask_inner, mask, 1, 1, 1, 1, BORDER_ISOLATED | BORDER_CONSTANT, Scalar(0));
Rect roi = cv::boundingRect(mask)
Point p = Point(int(roi.x + roi.width / 2), int(roi.y + roi.height / 2))
cv::seamlessClone(src_bgr, dst_bgr, mask, p, out_img, cv::NORMAL_CLONE)
其他
在OpenCV的泊松融合使用时，当目标图像特别大的情况下，如果mask不经过和cv::seamlessClone函数内部一致的边界处理，在某些情况下则可能会报如下错误：
terminate called after throwing an instance of 'std::length_error'
what(): vector::_M_default_append
Aborted (core dumped)
对mask边界进行白边处理能够解决这一问题。
参考资料
[1] 泊松融合原理浅析
[2] OpenCV源码解读：泊松融合seamlessClone（normalClone）
[3] opencv/modules/photo/src/seamless_cloning.cpp
[4] 图像融合之泊松融合（Possion Matting）
[5] terminate called after throwing an instance of ‘std::length_error’
[6] seamlessClone bug #15294
[7] bug on bounds in OpenCV cv2.seamlessClone
[8] OpenCV cv2.seamlessClone中的错误
[9] 使用FFmpeg生成高清gif图
3128
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
