python计算机视觉编程（四）图像到图像的映射

最新推荐文章于 2022-04-14 13:23:06 发布

stroll丶life

最新推荐文章于 2022-04-14 13:23:06 发布

阅读量1.1k

点赞数

分类专栏： Python计算机视觉编程

本文链接：https://blog.csdn.net/qq_41409331/article/details/88662767

版权

本文介绍了图像到图像的映射，重点讲解了仿射变换的概念，包括其保持平直性和平行性的特性，以及如何通过3个对应点计算变换矩阵。还提到了单应矩阵在映射中的应用，以及使用逆向映射和插值运算的过程。此外，文章简述了alpha通道在透明度处理中的作用，并展示了实际的实现效果。

摘要由CSDN通过智能技术生成

图像到图像的映射

原理

仿射变换

仿射变换是一种二维坐标到二维坐标之间的线性变换（相同平面），它保持了二维图形的“平直性”（直线经过变换之后依然是直线）和“平行性”（二维图形之间的相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变），但是角度会改变。在有限维的情况，每个仿射变换可以由一个矩阵A和一个向量b给出，它可以写作A和一个附加的列b。一个仿射变换对应于一个矩阵和一个向量的乘法，而仿射变换的复合对应于普通的矩阵乘法，只要加入一个额外的行到矩阵的底下，这一行全部是0除了最右边是一个1，而列向量的底下要加上一个1。

空间坐标变换经常使用的仿射变换式子如下。其中(x,y)为变换前的坐标，(x’,y’)为变换后的坐标。
在这里插入图片描述
由于仿射变换具有6个自由度，因此我们需要三个对应点来计算。

在仿射变换中有两种基本的方法：前向映射和逆向映射，如下图：
在这里插入图片描述

以逆向映射为例，对于 g(x’)中的每个像素 x’，根据变换模型计算相应的映射坐标 x = h-1(x’)，并将x的像素值赋给g(x’)。前向映射则相反。从原始图像映射到变换图像，赋值的时候需要进行插值运算。通常情况下有三种插值运算：最邻近插值法、双线性插值法、双三次插值法。

单应矩阵

把一张图映射到另一张图上，与前面提到的仿射变换需要变换矩阵T相似，这里我们需要单应矩阵H。我们假设两张图像中的对应点对齐次坐标为(x’,y’,1)和(x,y,1)，单应矩阵H定义为：
在这里插入图片描述
注意其中h22=1
则有：

将其展开，我们可以得到：

将其乘以分母得到：

左式展开减去右式，并写成矩阵形式有：

假设我们得到两幅图片中的N个对应点，则有：

如果已经有幅图像，只需要找到原始图像中的任意四个点坐标(其中至少三个点不在同一条直线上)，并且指定目标图像中的四个点，这样通过这八个点，就能求出变换矩阵H。

alpha通道

阿尔法通道是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度信息，定义透明、不透明和半透明区域，其中白表示不透明，黑表示透明，灰表示半透明。
将第一张图映射在第二张图的部分设为透明，第二张图的其余部分为不透明，即可完成映射。

实现

from PIL import  Image
from pylab import *
from scipy import ndimage

def image_in_image(im1,im2,tp):
    
    m,n = im1.shape[:2]
    fp = array([[0,m,m,0],[0,0,n,n],[1,1,1,1]])
    
    H = Haffine_from_points(tp,fp)
    im1_t = ndimage.affine_transform(im1,H[:2,:2],
                    (H[0,2],H[1,2]),im2.shape[:2])
    alpha = (im1_t > 0)
    
    return (1