X-ray 2D和CT 3D图像配准流程和算法总结 Fluoro-image and CT 3D image registration flowwork and algorithm

最新推荐文章于 2024-09-20 00:17:34 发布
最新推荐文章于 2024-09-20 00:17:34 发布
阅读量5.8k 收藏 31
点赞数 4
文章标签： 算法 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43904073/article/details/105987319
版权

X-ray 2D和CT 3D图像配准流程和算法总结 Fluoro-image and CT 3D image registration flowwork and algorithm

Reference to: Registration of 2D C-Arm and 3D CT Images for a C-Arm Image-Assisted Navigation System for Spinal Surgery

之间已经讲过的内容包括相机的校准，transformation matrix转换矩阵的应用（空间坐标系和平面图像坐标系的传递）。那么基于上面的一些算法，再结合图像融合配准的算法，我们可以做些什么实际的应用呢？下面我将结合一个X-ray和CT图像的融合辅助手术导航的实例，帮助扩展一下思维。

X-ray和CT图像的融合配准分为下面几个步骤：

  1. CT 图像的三维重建，因为拿到了三维图像后，才可以更好的对应映射到X-ray二维的某一张图片上
  2. 接下来，通过C-arm可以获取到有效的 AP（anterposteria）和 LT（lateral）两个位置上的 X-ray 2D 图像，因为通过两张图片才能获取人体在空间坐标系中的坐标关系
  3. CT 3D image DDR image generation DRR可以生成有效的投影灰度图像，用于配准X-ray image
  4. 生成图像遮罩去遮盖 dynamic reference frame (DRF) of 2D X-ray 图像，这样确保了两个图像校准的准确定，以免DRF的一些特征去印象了校准的精度
  5. CT DRR 和 X-ray Fluoro 图像的配准
  6. Error measurement测试算法
    【fig1】

在这里插入图片描述
在六个过程中分别由对应的算法应用，总结如下：

IndexAlgorithm
1marching cube algorithm (W. E. Lorensen and H. E. Cline, “Marching cubes: a high resolution 3D surface construction algorithm,” Computer Graphics, vol. 21, no. 4, pp. 163–169, 1987.)
2ray-casting algorithm hardware configuration: NVIDIA CUBA (GTX570) with 480 CUBA process
3calculated from two X-ray images
4region growth algorithm (RGA)
5graidient-based Powell’s method; geometric-based downhill simplex algorithm; probabilistic-based genetic algorithm (P. Markelj, D. Tomaˇzeviˇc, B. Likar, and F. Pernuˇs, “A review of 3D/2D registration methods for image-guided interventions,” Medical Image Analysis, vol. 16, no. 3, pp. 642–661, 2012.) (Y. Kim, K.-I. Kim, J. H. Choi, and K. Lee, “Novel methods for 3D postoperative analysis of total knee arthroplasty using 2D- 3D image registration,” Clinical Biomechanics, vol. 26, no. 4, pp. 384–391, 2011.)
6normalized cross correlation (NCC); Gradient correlation (GC); pattern intensity (PI); Gradient difference correlation (GDC); mutual information (MI) (G. P. Penney, J. Weese, J. A. Little, P.Desmedt,D. L.G.Hill, and D. J. Hawkes, “A comparison of similarity measures for use in 2-D-3-D medical image registration,” IEEE Transactions on Medical Imaging, vol. 17, no. 4, pp. 586–595, 1998.)

Marching cube algorithm
这个是个比较传统的3D建模算法，这是个标准的算法，网上有算式和算例，有兴趣可以去搜索一下，可以看到椭圆小球是用无数三角形拼接而成，每个边缘三角形都是defined block和实体的相交线构成
在这里插入图片描述

Initial coordinate matching
用Laplace算子找到边缘后，进行边缘中心的查找
对于传统CT图像，还需要对特征进行筛选，图像进行处理
在这里插入图片描述

Growing region algorithm
这个也比较容易实现，O(4*P) P:pixel; 比较容易理解，如果图品的分辨率越高，需要查找的特征越大，肯定需要计算的时间越长
在这里插入图片描述

SL…
关注
一种用于三维物体建模的精确、鲁棒的距离图像配准算法
3D视觉工坊
10-30 568
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达论文标题：An Accurate and Robust Range Image Registration Algorithm for...
基于图像原始像素信息的简单CT/MRI医学图像配准方法
m_buddy的博客
12-08 7168
1. 概述 最近在处理图像配准方面的任务，初步接触医学图像配准，这篇文章讲述基于图像原始像素信息的简单配准方法。通过计算得到图像的重心、主轴方向使得图像能够定位到统一坐标系下。这种方法简单粗暴，不能实现精细的配准。 图像重心的计算公式： 图像主轴的计算方法： 图像的主轴方向定义为协方差矩阵最大特征值对应的特征向量。 2. 实现 计算重心： //**********
2D/3D图像配准算法实验代码
12-07
用Matlab编写的代码框架，用于图像配准实验(内附有详细使用说明)
基于GPU的2D-3D医学图像配准
03-23
在2D-3D医学图像配准中,数字影像重建(DRR)的生成与相似性测度是最重要同时也是最耗时的两个配准步骤。针对配准过程中计算量大、耗时长的问题,将模式强度与梯度相结合,简化模式强度相似性测度的计算量,同时利用图形处理器(GPU)的多线程并行计算在GPU上完成DRR生成与相似性测度,引入梯度下降与多分辨策略对配准过程进行优化,完成整个配准过程。通过与多种相似性测度方法以及基于CPU的配准的比较,表明该方法在很好地兼顾配准精确度的同时,配准速度得到了大大提高。
2D-3D配准技术【PnP和LCD】
最新发布
桃桃脆椰奶的博客
09-20 509
PnP（Perspective-n-Point）算法和LCD（Learned Cross-Domain Descriptors）配准算法是两种不同的技术，它们在计算机视觉和图像处理领域中有着各自的应用。PnP算法主要用于。
2/3D图像配准---Dual-view fusion and registration of 2D DSA images and 3D MRA images for neurointerventio
计算机视觉
06-14 937
在神经介入手术中，术前高分辨率影像（MRI, MRA）与术中影像（DSA）的对齐至关重要。目前依赖的2D DSA轮廓图像由于缺乏解剖细节，导致手术时间和辐射暴露时间增加。通过整合MRA数据，可以弥补这些不足，提高手术效率。本研究将问题框定为3D点及其2D投影之间的相对姿态和对应关系，这由于多模态图像中固有的噪声和异常而变得复杂。很少有方法能够完全自动化多模态融合。本文介绍了一个多模态图像配准流程，融合了双视图。使用深度学习技术从多模态图像中提取特征以实现自动化。提出的配准方法基于最大边界因子（FMB）
fortran迭代欧拉算法_一种用于三维物体建模的精确、鲁棒的距离图像配准算法...
weixin_39936403的博客
11-22 297
作者：仲夏夜之星来源：公众号|计算机视觉工坊（系投稿）链接：一种用于三维物体建模的精确、鲁棒的距离图像配准算法论文标题：An Accurate and Robust Range Image Registration Algorithm for 3D Object Modeling作者：Yulan Guo, Ferdous Sohel, Mohammed Bennamoun, Jianwei Wan...
【图像配准】基于SSD、SAD、NCC算法实现三维图像立体配准和融合附matlab代码
qq_59747472的博客
09-04 488
在计算机视觉领域，三维图像立体配准和融合是一项重要的任务。它涉及将多个视角下获取的图像进行配准，以获得一个准确的三维重建结果。本文将介绍基于SSD（Sum of Squared Differences）、SAD（Sum of Absolute Differences）和NCC（Normalized Cross Correlation）算法实现三维图像立体配准和融合的方法。首先，我们需要了解什么是三维图像立体配准和融合。
ANTs配准图像CT
Alice0920的博客
06-02 1673
import os import glob import ants import numpy as np import SimpleITK as sitk import time # ants图片的读取 start = time.time() f_img = ants.image_read("/home/user0/Recursive/ANTsPy/ANTsdatas/testImg1.nii.gz") m_img = ants.image_read("/home/user0/Recursive/ANTsP
GUI.zip_GUI界面_Image-registration_图像配准_图像配准GUI
07-15
图像配准，界面设计，完全智能 一步实现 清晰对比
2D/3D图像配准中的相似性测度和优化算法-论文
11-08
在医学成像中，2D/3D图像配准尤其重要，因为这有助于将平面的图像（如X射线或CT切片）与三维的图像数据（如MRI或CT体积）对齐，以便于临床诊断和治疗规划。本文“2D/3D图像配准中的相似性测度和优化算法-论文”深入...
CT和MRI的形变配准
07-17
4D-CT和MRI的形变配准算法
三维医学图像配准
12-23
其实也是我下载的，当时找了好久，因为比较急着要用，找到了的时候还是很开心的，网上的这种代码真心不多 不过这个代码比较简单，我看了一下，应该能用，不过我暂时还没有试过
用于肺CT图像可变形配准的GPU加速块匹配算法
03-13
用于肺CT图像可变形配准的GPU加速块匹配算法
mutlimodal-imge-registration-master_图像配准_图像配准评价_mutlimodal-imge_
10-03
多模态图像配准特别重要，因为它处理来自不同成像技术（如CT、MRI、PET等）的图像，这些图像具有不同的特征和信息，配准后可以提供更全面的解剖或功能视图。 首先，我们要理解图像配准的基本流程。这通常包括以下几...
Diffeomorphic Log Demons Image Registration：使用微分形态对数恶魔算法进行 2D 和 3D 图像配准的简单 matlab 代码-matlab开发
06-01
**Diffeomorphic Log Demons Image Registration**是一种先进的图像配准技术，主要应用于医学影像分析、计算机视觉和图像处理领域。该方法基于原始的**Demons算法**，它是由Thirion在1998年提出的，旨在寻找两个图像...
医学图像配准论文学习——基于深度学习的分割方法对腹部CT进行高效的两步多器官配准（2021）；基于深度学习的检测在腹部CT图像上靶器官非刚性配准（2021）；
qq_49603002的博客
04-27 1605
三维（3D）腹部计算机断层扫描（CT）的配准对于计算机辅助疾病的诊断和治疗至关重要，但腹部的非刚性呼吸运动（non-rigid respiratory movements ）增加了其难度。该文提出一种用于腹部CT扫描的两步多器官自动配准方法。首先，将轻量级挤压激励（squeeze-and-excitation ，SE）注意力块和基于全连接条件随机场（conditional random field，CRF）的后处理集成到基于全卷积网络（FCN）的模型中，对肝、肾、脾等腹部多器官获得更准确的分割结果;
2D-3D配准指南[方法汇总]【入门指导向】（一）问题介绍+LCD跨域描述子+Triplet loss
qq_45912037的博客
12-05 3173
近年来，增强现实应用不断涌现。这类应用需要将三维模型与二维图像进行匹配。同样，大规模位置识别系统可能需要定位拍摄 2D 图像的准确位置。为此，必须对二维和三维数据进行注册或对齐。如果不能确保被对齐的二维和三维数据是同一现实的相同表现形式，即它们之间存在匹配关系，则无法执行此类操作。因此，在通过 2D-3D 注册对齐匹配对之前，有必要完成 2D-3D 匹配任务。寻找在图像patch和点云patch上执行2D-3D匹配的稳健描述符的问题可以表述如下：设I∈RW×H×3I∈RW×H。
基于光学导航系统，矩阵变换和3D-2D配准研究
沈春旭的博客
03-19 3491
1.   手术导航任务中，3D-2D配准的数学框架 2.   框架分析 三维实时影响导航的理解，完全考虑刚体的情况下： 1. 利用标准体模对导航系统进行校准。此处的校准是指得到上文中提到的校准矩阵，即把2维超声数据从图像坐标系变换到传感器坐标系下。 2. 术前采集得到CT数据，经三维重建可以得到3DCT图像坐标系下的三维立体结构。 3. 术中实时采集2D超声图像，利用
2d-3d图像配准算法代码
07-13
### 回答1： 2D-3D图像配准是将二维图像与三维模型进行匹配，实现二者之间的空间对齐。下面是一个示例的2D-3D图像配准算法代码： ``` import cv2 import numpy as np def find_homography(image1, image2): # 提取图片1和图片2的特征点 sift = cv2.xfeatures2d.SIFT_create() kp1, des1 = sift.detectAndCompute(image1, None) kp2, des2 = sift.detectAndCompute(image2, None) # 特征点匹配 bf = cv2.BFMatcher(cv2.NORM_L2) matches = bf.knnMatch(des1, des2, k=2) # 筛选优秀的匹配点 good_matches = [] for m, n in matches: if m.distance < 0.75 * n.distance: good_matches.append(m) # 计算匹配点对应的坐标 src_pts = np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2) dst_pts = np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2) # 计算单应性矩阵 M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) return M def render_3d_model(image, model, homography): # 根据单应性矩阵将图像中的特征点映射到模型空间中 warped_image = cv2.warpPerspective(image, homography, (model.shape[1], model.shape[0])) # 在模型空间中以特定颜色渲染图像 rendered_model = np.zeros_like(model, dtype=np.uint8) rendered_model[np.where((model == [0, 0, 0]).all(axis=2))] = warped_image[np.where((model == [0, 0, 0]).all(axis=2))] return rendered_model # 读取二维图像和三维模型 image = cv2.imread('image.jpg') model = cv2.imread('model.obj') # 进行2D-3D图像配准并渲染 homography = find_homography(image, model) rendered_model = render_3d_model(image, model, homography) # 显示配准结果 cv2.imshow('Rendered Model', rendered_model) cv2.waitKey(0) cv2.destroyAllWindows() ``` 以上代码通过提取图像的特征点并进行匹配，计算出单应性矩阵，将图像中的特征点映射到模型空间中，最后在模型空间中渲染图像，实现2D-3D图像配准并可视化配准结果。 ### 回答2： 2D-3D图像配准算法是将一个二维图像与一个三维模型进行对齐的过程，通常用于医学影像中的图像配准，如CT图像和MRI图像。 其中，最常用的2D-3D图像配准算法是基于体素的配准方法。其主要步骤如下： 1. 定义一个粗略的初值，通常是通过特征匹配得到的。 2. 将三维模型转换为二维图像，即生成一个虚拟的CT或MRI图像。 3. 将虚拟图像与真实二维图像进行相似度度量，比如使用互相关系数或互信息等。 4. 通过最小化相似度度量函数，调整虚拟图像在真实图像中的位置。 5. 迭代执行步骤4，直到达到收敛的准确度或最大迭代次数。 这个算法的代码实现可以使用编程语言如Python或C++等。以下是一个简单的示例代码： ```python import numpy as np import cv2 def voxel_based_registration(virtual_image, real_image, initial_pose, max_iterations=100, tolerance=1e-6): pose = initial_pose last_loss = np.inf for iteration in range(max_iterations): transformed_image = transform_image(virtual_image, pose) loss = calculate_similarity(real_image, transformed_image) if np.abs(loss - last_loss) < tolerance: break gradient = calculate_gradient(virtual_image, real_image, transformed_image) pose -= gradient last_loss = loss return pose def transform_image(image, pose): # TODO: 实现图像变换 def calculate_similarity(image1, image2): # TODO: 计算相似度度量 def calculate_gradient(image1, image2, transformed_image): # TODO: 计算梯度 # 虚拟图像，即待配准的三维模型转换成的二维图像 virtual_image = cv2.imread('virtual_image.png', 0) # 真实图像，即待配准的二维图像 real_image = cv2.imread('real_image.png', 0) # 初始化位姿 initial_pose = np.zeros((6, 1)) # 进行配准 final_pose = voxel_based_registration(virtual_image, real_image, initial_pose) ``` 需要注意的是，上述代码只是一个简单的示例，真正的2D-3D图像配准算法会根据具体需求进行优化和改进。 ### 回答3： 2D-3D图像配准算法是将一个二维图像与一个三维模型进行匹配，以实现二维图像在三维场景中的准确定位和重建。下面是一个简单的2D-3D图像配准算法的代码示例： ```python import numpy as np # 第一步：读取二维图像和三维模型数据 image = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # 二维图像数据 model = np.array([[[1, 1, 1], [2, 2, 2], [3, 3, 3]], [[4, 4, 4], [5, 5, 5], [6, 6, 6]], [[7, 7, 7], [8, 8, 8], [9, 9, 9]]]) # 三维模型数据 # 第二步：图像配准的核心算法 def image_registration(image, model): # 将二维图像转换为一维数组 image_vector = image.flatten() # 计算二维图像和三维模型之间的差异度 differences = [] for i in range(len(model)): model_vector = model[i].flatten() difference = np.sum(np.abs(image_vector - model_vector)) differences.append(difference) # 找到差异度最小的序号作为匹配结果 min_index = np.argmin(differences) # 返回匹配结果 return min_index # 第三步：调用图像配准算法并输出结果 matching_result = image_registration(image, model) print("匹配结果: ", matching_result) ``` 以上代码中，假设我们有一个3x3的二维图像和一个3x3x3的三维模型。图像配准的核心算法是将二维图像转换为一维数组，并计算二维图像和三维模型之间的差异度。最后，找到差异度最小的序号作为匹配结果。 这只是一个简单的示例，实际的2D-3D图像配准算法可能更加复杂和精确，涉及更多的数学和计算机视觉技术。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值