F.affine_grid 坐标变换的问题

坐标变换的问题

问题描述: 对图像A用矩阵等距变换得到图像B，但是A的一部分做同样变换得不到对应的图像B的一部分, 在一位数学专业的大佬的指点下成功的更正了bug，特来此记录

先贴出基本代码

import cv2
import torch
import torch.nn.functional as F
from torchvision import transforms
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

# 1. 读取一张图像并显示
image = cv2.imread("./assets/image.jpg")
print(image.shape)
plt.axis("off")
plt.imshow(image[..., ::-1])

# 2. 由于图像较大，所以我截取一部分作为浮动图像，显示出来
imageA = image[100:500, 300:700]
print("imageA:", imageA.shape)

imageA_tensor = transforms.ToTensor()(imageA).unsqueeze(0)

plt.axis("off")
plt.imshow(imageA[..., ::-1])

由于找不到原因，所以需要从每个角度去验证(平移+旋转)，有很多重复代码，所以就没有贴全，所有显示图像以及重采样部分都跟第一部分的代码一样

1. 代码方式验证过程

1.1 观察平移差异

• 得到 imageB

num1 = 0.4
num2 = -0.4

# 定义变换矩阵
theta = torch.tensor([
    [1, 0, num1],
    [0, 1, num2]
], dtype=torch.float)

# warp得到图像imageB
grid = F.affine_grid(theta.unsqueeze(0), imageA_tensor.size(), align_corners=False)
imageB = F.grid_sample(imageA_tensor, grid, align_corners=False).squeeze(0).numpy().transpose(1,2,0)

plt.figure(figsize=(8, 6))

plt.subplot(121)
# plt.axis("off")
plt.title("imgB")
plt.imshow(imageB[..., ::-1])

plt.subplot(122)
plt.axis("off")
plt.title("imgA")
plt.imshow(imageA[..., ::-1])

• 截取一部分得到 imageA_center, imageB_center

plt.figure(figsize=(8, 6))

plt.subplot(121)
# plt.axis("off")
plt.title("imageB_center")
imageB_center = imageB[100:300, 50:350]
print("imageB_center", imageB_center.shape)
plt.imshow(imageB_center[..., ::-1])

plt.subplot(122)
plt.axis("off")
plt.title("imageA_center")
imageA_center = imageA[100:300, 50:350]
print("imageA_center", imageA_center.shape)
plt.imshow(imageA_center[..., ::-1])

• warp 得到 imageB_center_r, 对比 imageB_center_r 和 imageB_center

grid = F.affine_grid(theta.unsqueeze(0), imageA_center_tensor.size(), align_corners=False)
imageB_center_r = F.grid_sample(imageA_center_tensor, grid, align_corners=False).squeeze(0).numpy().transpose(1,2,0)

plt.figure(figsize=(12, 10))
plt.subplot(131)
# plt.axis("off")
plt.title("imageB_center")
plt.imshow(imageB_center[..., ::-1])

plt.subplot(132)
plt.axis("off")
plt.title("imageB_center_r")
plt.imshow(imageB_center_r[..., ::-1])

plt.subplot(133)
plt.axis("off")
plt.title("imageA_center")
plt.imshow(imageA_center[..., ::-1])

结论: 多换几组不同位移比例进行测试，可以得出位移发生了改变

1.2 观察旋转差异

• 得到 imageB

num1 = 0
num2 = 0
angle = - np.pi / 4
theta = torch.tensor([
    [np.cos(angle),np.sin(-angle), num1],
    [np.sin(angle),np.cos(angle), num2]
], dtype=torch.float)

# warp得到图像imageB
grid = F.affine_grid(theta.unsqueeze(0), imageA_tensor.size(), align_corners=False)
imageB = F.grid_sample(imageA_tensor, grid, align_corners=False).squeeze(0).numpy().transpose(1,2,0)

• 截取一部分得到 imageA_center, imageB_center 截取部分代码相同，我只是换了一下截取的范围

imageA_center = imageA[100:300, 100:300]
imageB_center = imageB[100:300, 100:300]

• warp 得到 imageB_center_r, 对比 imageB_center_r 和 imageB_center

• 交叠显示

overlapping = cv2.addWeighted(imageB_center_r, 0.5, imageB_center, 0.5, 0)
# plt.axis('off')
plt.imshow(overlapping[...,::-1])

结论: 多换几组不同旋转比例进行测试，可以得出旋转没有发生改变

1.3 观察旋转+平移差异

num1 = 0.3
num2 = -0.2
angle = - np.pi / 4
theta = torch.tensor([
    [np.cos(angle),np.sin(-angle), num1],
    [np.sin(angle),np.cos(angle), num2]
], dtype=torch.float)

后续都一样，可以自己测试一下

2. 代码结合理论以及猜想验证

一个数学大佬指出，一个矩阵满足的映射关系，那么它的子集也是一定满足的，取出一部分子集之后再次进行原有的变换时，按照我处理的方式，在比例上发生了改变

2.1 验证平移

• 在 1.1 中得到 imageA_center, imageB_center 后，将矩阵按比例进行修正

rate1 = imageA.shape[0] / imageA_center.shape[0]
rate2 = imageA.shape[1] / imageA_center.shape[1]
theta_center = torch.tensor([
    [1, 0, num1 * rate2],
    [0, 1, num2 * rate1]
], dtype=torch.float)
print("theta: ", theta)
print("theta_center: ", theta_center)
imageA_center_tensor = transforms.ToTensor()(imageA_center).unsqueeze(0)
grid = F.affine_grid(theta_center.unsqueeze(0), imageA_center_tensor.size(), align_corners=False)
imageB_center_r = F.grid_sample(imageA_center_tensor, grid, align_corners=False).squeeze(0).numpy().transpose(1,2,0)

• 交叠显示

overlapping = cv2.addWeighted(imageB_center_r, 0.5, imageB_center, 0.5, 0)

plt.axis('off')
plt.imshow(overlapping[...,::-1])

我们也可以多尝试几组

2.2 验证平移+旋转

rate1 = imageA.shape[0] / imageA_center.shape[0]
rate2 = imageA.shape[1] / imageA_center.shape[1]
theta = torch.tensor([
    [np.cos(angle),np.sin(-angle), num1 * rate2],
    [np.sin(angle),np.cos(angle), num2 * rate1]
], dtype=torch.float)

imageA_center_tensor = transforms.ToTensor()(imageA_center).unsqueeze(0)
grid = F.affine_grid(theta.unsqueeze(0), imageA_center_tensor.size(), align_corners=False)
imageB_center_r = F.grid_sample(imageA_center_tensor, grid, align_corners=False).squeeze(0).numpy().transpose(1,2,0)

• 交叠显示

overlapping = cv2.addWeighted(imageB_center_r, 0.5, imageB_center, 0.5, 0)

plt.axis('off')
plt.imshow(overlapping[...,::-1])

---

从上面的结果也可以看出来，如果某个方向的位移超过了50%，那么截取部分就匹配不到了。 至此实验验证过程就结束了，接下来同样的方式套用到3D图像就ok，继续修Bug去了…