RIFT Multi-Modal Image Matching Based on Radiation-Variation Insensitive Feature Transform

最新推荐文章于 2024-01-11 14:41:44 发布
最新推荐文章于 2024-01-11 14:41:44 发布
阅读量7k 收藏 70
点赞数 11
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32425195/article/details/113816784
版权

RIFT:radiation-variation insensitive feature transform

introduction

3个贡献：
1.使用时相一致性而不是像素强度做特征检测，更鲁棒；只检测角点和边缘点
2.提出 maximum index map来做特征描述
3.支持旋转不变性

要实现通用的鲁棒图像匹配，需要解决三个难题:(1)几何变换不变性，辐射不变性 （2）外点的去除 （3）非刚性的配准问题
RIFT主要用来解决辐射不变性，尤其是NRD(nonlinear radiation distortiion).
目前，如果不知道图像的几何信息，没有任何一个方法可以同时用于optical-optical,sar-optial,day-night等多模态的配准。

在PC map的角点和边缘点检测特征，这些点的鲁棒性较好
使用log-Gabor构建maximum index map.
构建multiple MIM来解决旋转不变性。
HOPC的不足：（1）需要提前知道图像的地理信息，利用地理信息做粗匹配。但地理信息有可能本身差异很大（2）HOPC依赖模板匹配来寻找对应点，对于旋转和尺度变换不适用（3）HOPC使用Harris寻找关键点，关键点可能找的不好
RIFT不依赖地理信息，具有旋转不变性

method

在两张图上检测关键点；关键点的特征提取；通过特征匹配来匹配关键点；外点过滤；homograpy计算
所以，关键点的鲁棒性很重要（即同一个关键点可以在不同的图像中都被检测到）。

1.角点和边缘点检测：
输入一对图像（光学图和雷达图）（a），直接使用FAST算法检测两张图像的角点和边缘点(d)，效果不好（两张图的角点并不对应，雷达图中很多角点和边缘都没有检测到）。因此，我们利用PC来检测角点。其过程为：
首先，利用小波变换得到光学图和雷达图的PC图。小波变换可以获得 freq-time图，PC图即计算各个波间相位的一致性。
在这里插入图片描述

然后，根据PC图计算moment,得到minimum moment和maximum moment.。minimum moment大的地方对应角点（minimum moment经过极大值检测和非极大值抑制后得到的点，记作角点，图b,e）。然后用FAST算法对maximum moment做边缘检测，得到边缘点（图ef）.
在这里插入图片描述

在这里插入图片描述
对应的代码为：

[des_m1,des_m2] = RIFT_no_rotation_invariance(im1,im2,4,6,96);#在两张图像中都就检测关键点，并且将这些关键点的特征提取出来
	[m1,~,~,~,~,eo1,~] = phasecong3(im1,s,o,3,'mult',1.6,'sigmaOnf',0.75,'g', 3, 'k',1);#m1是maximum moment
	[m2,~,~,~,~,eo2,~] = phasecong3(im2,s,o,3,'mult',1.6,'sigmaOnf',0.75,'g', 3, 'k',1);#m2是另一张图的maximum moment
	
	a=max(m1(:)); b=min(m1(:)); m1=(m1-b)/(a-b);#根据最大最小值做归一化
	a=max(m2(:)); b=min(m2(:)); m2=(m2-b)/(a-b);
	
	% FAST detector on the maximum moment maps to extract edge feature points. 使用FAST算法在m1,m2图中检测边缘点，找出5000个点
	m1_points = detectFASTFeatures(m1,'MinContrast',0.05);
	m2_points = detectFASTFeatures(m2,'MinContrast',0.05);
	m1_points=m1_points.selectStrongest(5000);   %number of keypoints can be set by users
	m2_points=m2_points.selectStrongest(5000);

2.特征提取
先构造MIM图，然后在MIM图中，按照SIFT的特征提取算法来提取特征。
先当与先将两幅图转为同一种图，然后在该图中提取特征做配准。
(1) MIM的构造：

代码：

RIFT_no_rotation_invariance(im1,im2,4,6,96);
RIFT_descriptor_no_rotation_invariance(im1, m1_points.Location,eo1, patch_size, s,o）
其中s=4,o=6，eo1是一个4x6的cell,每个元素是HxW(与图像尺寸一致)的数组，表示该scale,该orientation下对应的小波变换与原图做卷积的结果。

关键：
CS(:,:,j)=CS(:,:,j)+abs(eo{i,j});#将各个scale的变换结果的幅度相加（一张图的一个尺度一个角度的小波变换结果是复数平面，abs取复数的幅度）

[~, MIM] = max(CS,[],3); % MIM maximum index map 在6个角度中，查看哪个角度的幅度最大；MIM为幅度最大的角度的索引
在这里插入图片描述

function des = RIFT_descriptor_no_rotation_invariance(im, kps,eo, patch_size, s,o)

KPS=kps'; %keypoints
[yim,xim,~] = size(im);

CS = zeros(yim, xim, o); %convolution sequence
#将各个scale的变换结果图相加，其中scale对应频率。
for j=1:o
    for i=1:s
        CS(:,:,j)=CS(:,:,j)+abs(eo{i,j});
    end
end
#CS的shape为[H,W,6],6表示6个方向，max(CS,[],3)表示返回CS中第3个维度的最大值。所以MIM的shape为H，W
[~, MIM] = max(CS,[],3); % MIM maximum index map

(2)采用类似于SIFT的方法，使用MIM图构造特征
SIFT构造特征的方法：先把16x16的区域分为16个4x4的小区域，每个小区域中汇总16个像素的梯度方向（每个像素的梯度强度根据其方向分配到8个方向中）作为该区域的特征向量。
在这里插入图片描述
RIFT的patchsize是96x96，分为了6x6个小区域（每个小区域的尺寸为16x16），然后在每个小区域内统计值的直方图（每个像素的的值按照其方向分配到6个方向中，这里没有计算梯度的步骤，因为此时的值本身有梯度和方向的信息），每个小区域的特征向量长度为6.所以，一个patch的特征向量长度为6x6x6.
代码为：


des = zeros(36*o, size(KPS,2)); %descriptor (size: 6×6×o) 每个patch的特征向量的长度为36*6
kps_to_ignore = zeros(1,size(KPS,2)); #size(KPS,2)表示KPS的个数，即关键点的个数

for k = 1: size(KPS,2)
    x = round(KPS(1, k));
    y = round(KPS(2, k));
    #x1,y1,x2,y2表示以该特征点为中心的patch的左上，右下角坐标
    x1 = max(1,x-floor(patch_size/2));
    y1 = max(1,y-floor(patch_size/2));
    x2 = min(x+floor(patch_size/2),size(im,2));
    y2 = min(y+floor(patch_size/2),size(im,1));    
    patch = MIM(y1:y2,x1:x2); %local MIM patch for feature description

#将patch分为6*6的区域，每个区域单独提取特征
    ns=6;
    RIFT_des = zeros(ns,ns,o);  %descriptor vector
      % histogram vectors
    for j = 1:ns
        for i = 1:ns
            clip = patch(round((j-1)*ys/ns+1):round(j*ys/ns),round((i-1)*xs/ns+1):round(i*xs/ns));
            RIFT_des(j,i,:) = permute(hist(clip(:), 1:o), [1 3 2]); #hist是对每个小区域提取特征，hist是统计值的分布，permute是改变array的shape
        end
    end
    
    RIFT_des=RIFT_des(:);
    
    #特征做归一化
    if norm(RIFT_des) ~= 0
        RIFT_des = RIFT_des /norm(RIFT_des);
    end
    
    des(:,k)=RIFT_des;
end
des = struct('kps', KPS(:,kps_to_ignore ==0)', 'des', des(:,kps_to_ignore==0)');

(2) 特征点匹配，与sift的方法一致（特征距离最小的认为匹配）

#matlab的matchFeatures中的默认匹配方法是Exhaustive,会一一计算输入特征组1和输入特征组2的两两指尖的特征距离，默认特征间的距离计算方式为SSD。
[indexPairs,matchmetric] = matchFeatures(des_m1.des,des_m2.des,'MaxRatio',1,'MatchThreshold', 100);
matchedPoints1 = des_m1.kps(indexPairs(:, 1), :);
matchedPoints2 = des_m2.kps(indexPairs(:, 2), :);
[matchedPoints2,IA]=unique(matchedPoints2,'rows'); #unique类似python的set，去掉重复的。rows表示每一行作为一个元素；返回结果为去重复的matchedPoints2和对应的索引
matchedPoints1=matchedPoints1(IA,:);

(3) 外点去除
先计算出Homography,然后根据该hoography判断已经配准的点哪些是inliners,从而在显示配准结果时将inliears和outliers分开显示

H=FCS(matchedPoints1,matchedPoints2,'affine',2);
Y_=H*[matchedPoints1';ones(1,size(matchedPoints1,1))];
Y_(1,:)=Y_(1,:)./Y_(3,:);
Y_(2,:)=Y_(2,:)./Y_(3,:);
E=sqrt(sum((Y_(1:2,:)-matchedPoints2').^2));
inliersIndex=E<3;
cleanedPoints1 = matchedPoints1(inliersIndex, :);
cleanedPoints2 = matchedPoints2(inliersIndex, :);

经过特征点匹配后得到的配准关系（cor1,cor2）有很多的outliears，不能直接计算homography,需要先判定哪些是outliers，哪些是inliears。这里采用的方法是：
（1）每次选择3个点，计算affine homography的6个参数
(2)根据计算得到的affine homograpy,判断内点的个数。
（3）不断迭代过程1和过程2，内点个数最多时的homography就是最优解
注意：这里的outliears和inliears判断时，文章中说采用NBSC方法，代码中说采用FSC方法；但实际的代码却与NBSC,FSC方法都不同。代码的思想与FSC,NBSC相似，都是遍历所有可能的affine model,内点最多的affine model为最优解。

function [solution,rmse,cor1_new,cor2_new]=FSC(cor1,cor2,change_form,error_t)
[M,N]=size(cor1); %M=1389,N=2,其中N=2表示坐标
    n=3; #表示计算affine homograpy只需要3对配准点
    iterations=10000; #表示最多迭代计算10000次
most_consensus_number=0; #初始化most_consensus_number为0，most_consensus_number表示inlieras个数的最大值
cor1_new=zeros(M,N); %（1389，2）
cor2_new=zeros(M,N);%（1389，2）

for i=1:1:iterations
         a=floor(1+(M-1)*rand(1,n)); #rand(1,n)随机得到0-1之间的数字n次；所以floor(1+(M-1)*rand(1,n))随机获得n次（1，M-1）之间的数
        #随机挑选了n个匹配点（n=3）
        cor11=cor1(a,1:2); 
        cor22=cor2(a,1:2);
    #根据挑选的点计算affine的参数           
    [parameters,~]=LSM(cor11,cor22,change_form);
    solution=[parameters(1),parameters(2),parameters(5);
        parameters(3),parameters(4),parameters(6);
        parameters(7),parameters(8),1];
   #根据affine model来计算当前配准点的误差diff_match2_xy
     match1_xy=cor1(:,1:2)';
     match1_xy=[match1_xy;ones(1,M)];
        t_match1_xy=solution*match1_xy;
        match2_xy=cor2(:,1:2)';
        match2_xy=[match2_xy;ones(1,M)];
        diff_match2_xy=t_match1_xy-match2_xy;
        diff_match2_xy=sqrt(sum(diff_match2_xy.^2));
        #误差小于阈值的记inliears,inliears的个数记作consensus_num
        index_in=find(diff_match2_xy<error_t);
        consensus_num=size(index_in,2);
    #私用内点个数最多的情况，来计算affine homography
    if(consensus_num>most_consensus_number)
        most_consensus_number=consensus_num;
        cor1_new=cor1(index_in,:);
        cor2_new=cor2(index_in,:);
    end
end
[parameters,rmse]=LSM(cor1_new(:,1:2),cor2_new(:,1:2),change_form);
solution=[parameters(1),parameters(2),parameters(5);
    parameters(3),parameters(4),parameters(6);
    parameters(7),parameters(8),1];
end

注：
NBSC算法过程（对应文章ROBUST FEATURE MATCHING FOR GEOSPATIAL IMAGES VIA AN AFFINE-INVARIANT COORDINATE）：
NBCS也是通过循环来遍历一个个可能的homography,然后inliears个数最多的homograpy对应最终的解。
在这里插入图片描述

其中NBCs表示在affine变换时，4个点构成的4个三角形，其面积比保持不变。如果不满足这个性质，则说明这4点的对应关系有误。

FSC算法过程：
在这里插入图片描述

result

关键点检测
检测到的关键点的可重复性：即同名点在两幅图中都作为关键点被检测到的能力。RIFT方法的效果最好
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

dadaHaHa1234
关注
【论文解读】Fast Transform Kernel Selection Based on Frequency Matching and Probability Model for AV1
想都是问题，做才有答案～～
07-01 64
【论文解读】Fast Transform Kernel Selection Based on Frequency Matching and Probability Model for AV1
rift-python:Python中的胖树路由（RIFT）实现
05-14
在胖树中路由（RIFT） 该存储库包含Internet草案（ID） 指定的胖树路由（RIFT）协议的Python实现。 该代码目前仍在开发中（有关状态，请参见下面的功能列表）。 文献资料 功能指南： 日志可视化 配置文件（也称为拓扑文件） 配置文件生成器（也称为元拓扑文件） 与规范的实施偏差 自动化测试 持续集成 码头工人 演讲和报告 IETF 102（蒙特利尔） 此代码的一个版本（标签为ietf-102-rift-hackathon）被用于在蒙特利尔举行的互联网工程任务组（IETF）会议编号102（2018年7月）的黑客马拉松中进行互操作性测试。 IETF 102 RIFT Hackathon：演示幻灯片（Microsoft PowerPoint） IETF 102 RIFT Hackathon：报告 临时零接触配置（ZTP）互操作性测试 零接触配置（ZTP）初步互
autoRIFT:快速智能算法的Python模块，用于查找两个图像之间的像素位移
03-20
autoRIFT（自主重复图像功能跟踪） 更新说明： + parallel computing for NCC + support for remote input files using GDAL virtual file systems (e.g., `/vsicurl/https://...`) + see: https://gdal.org/user/virtual_file_systems.html 快速智能算法的Python模块，用于查找两个图像之间的像素位移 autoRIFT可以手动或作为conda安装（ ）安装为独立的Python模块（仅支持笛卡尔坐标）。为了同时支持直角坐标和雷达坐标，必须在InSAR科学计算环境（ISCE： : ）中安装autoRIFT。 用例包括所有密集特征跟踪应用程序，包括测量由于冰川流动，大地震位移和滑坡而在两个重复卫星图像之间发生的表
RIFT-multimodal-image-matching-main.zip
10-01
RIFT-multimodal-image-matching-main.zip
RIFT: 基于辐射变化不敏感特征变换的多模态图像匹配（Matlab代码实现）
最新发布
weixin_46039719的博客
01-11 1464
不同传感器的成像机制可能大不相同，获取的图像对同一物体有不同的表现，导致图像对之间存在巨大的辐射差异。目前，如果图像的地理几何信息不可用，没有图像匹配方法可以同时应用于光学-光学匹配、红外-光学匹配、合成孔径雷达（SAR）-光学匹配、深度-光学匹配、地图-光学匹配和昼夜匹配。我们使用了六种不同类型的多模态图像数据集来评估RIFT，包括光学-光学、红外-光学、合成孔径雷达（SAR）-光学、深度-光学、地图-光学和昼夜数据集。然而，图像匹配，特别是遥感图像匹配，仍然是一个存在许多不确定性的棘手问题。
hog的代码matlab-Multi-sensor-images-matching:Multi-sensorimagesmatching（异源
06-12
hog的代码matlab Multi-sensor-images-matching（异源图像匹配/配准） Original Paper: A Multi-sensor Image Matching Method Based on KAZE-HOG Features (), ICIVC 2019. Code: Requirements Please, use Matlab 2019a or latest vision.
多模态影像匹配及配准
qq_37770754的博客
06-05 2299
多模态影像匹配及配准
基于opencv和phasecong提取边缘特征点
qq_42106206的博客
11-24 4581
文章目录前言一、图像读取后的通道统一二、phasecong函数2.1 方法介绍2.2 参数及返回值三、利用opencv的快速检测提取边缘特征点四、复现RIFT_descriptor_no_rotation_invariance函数4.1 复现RIFT_descriptor_no_rotation_invariance函数4.2 复现FSC函数4.3 复现LSM 前言 最近在研究关于红外图像和自然光影像匹配的问题，参考到了李加元老师的文章：RIFT: Multi-modal image matching b
PCL：RIFT特征估计
com1098247427的博客
10-16 794
RIFT特征估计
World-news-articles-matching:计算世界新闻文章的相似度并将它们聚合为主题
06-06
世界新闻文章匹配 计算世界新闻文章的相似度并将它们聚合为主题。 这是我正在进行的学士论文的一部分，它仍在进行中。 论文题目： 《世界新闻的信息抽取与文本聚类》
zed-oculus：Oculus Rift的ZED查看器
02-04
"zed-oculus"是一个专为Oculus Rift头戴式显示器设计的ZED相机查看器。这个项目结合了STereo Vision（立体视觉）技术与Oculus Rift的虚拟现实功能，利用OpenGL进行图形渲染，实现了在3D环境中实时预览ZED相机捕获的...
ovr-sys：将原始Rust绑定到libOVR（Oculus Rift PC运行时库）
02-06
ovr-sys是一个Rust语言的库，它的主要目的是为开发者提供与Oculus Rift PC运行时库（libOVR）的直接交互。Oculus Rift是一款知名的虚拟现实（Virtual Reality，简称VR）头戴设备，由Oculus公司开发，主要用于游戏和...
Oculus-Rift检测系统：Oculus Rift COVID-19检测系统2020使用Tensorflow 2，Raspberry Pi 4和Oculus Rift提供虚拟检测系统。 亚当·弥尔顿·巴克的项目
02-06
彼得·莫斯（Peter Moss）COVID-19 AI研究项目Oculus Rift的COVID-19检测系统目录介绍用于Oculus Rift 2020的COVID-19检测系统使用Tensorflow 2，Raspberry Pi 4和Oculus Rift为COVID-19提供虚拟现实检测系统。...
RIFT Real-time Raid Analyzer-开源
04-27
Java / Swing胖客户端应用程序，用于RIFT战斗日志的实时分析。
【图像配准】基于位移旋转不变特征描述符sRIFD实现图像配准附matlab代码 论文复现
qq_59747472的博客
11-16 191
特征描述符（例如尺度不变特征变换（SIFT））已经广泛应用于各种计算机视觉应用程序，并且已经提出了许多方法来使描述符适应多传感器图像。最近，辐射变化不敏感特征变换（RIFT）利用了相位一致性，该相位一致性对于光照和辐射变化是不变的，用于构建多传感器图像的描述符。然而，即使具有准确的关键点主方向，RIFT在某些旋转度的图像上表现不佳。
Rift算法图文解析
taoqilin的专栏
11-02 1391
1. Raft 节点状态 从拜占庭将军的故事映射到分布式系统上，每个将军相当于一个分布式网络节点，每个节点有三种状态：Follower，Candidate，Leader，状态之间是互相转换的，可以参考下图，具体的后面说。 每个节点上都有一个倒计时器 (Election Timeout)，时间随机在 150ms 到 300ms 之间。有几种情况会重设 Timeout： 收到选举的请求 收...
【coarse-to-fine ：无监督】
weixin_43690932的博客
12-13 1946
仅供自己参考
Revive- Go 使用
05-26
Revive-Go 是一个用于将 Oculus Rift 应用程序转换为 Windows Mixed Reality (WMR) 的开源项目。如果您想在 WMR 设备上使用 Oculus Rift 应用，可以使用 Revive-Go 进行转换。 以下是使用 Revive-Go 的步骤： 1. 首先，您需要在 Windows Mixed Reality 设备上安装 SteamVR。您可以在 Steam 上下载并安装 SteamVR。 2. 然后，您需要下载 Revive-Go。您可以从 GitHub 上下载最新版本的 Revive-Go。 3. 解压缩 Revive-Go 到任何文件夹中。 4. 启动 SteamVR。 5. 找到 Oculus 应用程序的安装文件（.exe 文件），并在 WMR 设备上运行它。 6. 在 Oculus 应用程序中，您可以使用 Revive-Go 工具栏中的“Inject”按钮将应用程序注入到 SteamVR 中。 7. 点击“Inject”按钮后，Revive-Go 将自动启动并将应用程序注入到 SteamVR 中。 8. 在 SteamVR 中，您可以找到已注入的 Oculus 应用程序，并在 WMR 设备上使用它。 请注意，Revive-Go 不是官方支持的工具，使用它可能会导致不稳定或错误的行为。使用 Revive-Go 时请小心，谨慎处理。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值