【OpenCV+Python实现医学影像拼接（一）】

置顶卖丶竹鼠了

已于 2022-04-08 15:24:27 修改

阅读量4.6k

点赞数 6

分类专栏： OpenCv图像拼接文章标签： python

于 2022-04-08 15:24:03 首次发布

本文链接：https://blog.csdn.net/qq_38999777/article/details/124041974

版权

OpenCv图像拼接专栏收录该内容

2 篇文章 2 订阅

订阅专栏

OpenCV+Python实现医学影像拼接（一）

内容仅供参考

首先是准备拼接的图片，（由于环境原因，本人裁剪的）

在这里插入图片描述

原图片为

我的思路是一二先拼接，三四再拼接，拼接后图片如下：

与原图像对比还是有较为明显的瑕疵：如拼接缝、底部内容模糊、旁边线条歪了等。

以下是我的程序界面。
给大家介绍下我的环境把
win10，Python 3.7 opencv与contrib版本为4.5.5.62
在这里插入图片描述
这里我将一些直接定义了一些函数，调用起来方便。

# coding: utf-8
# 实现上下左右多副图像融合拼接
# 环境py37
import os
import cv2
import numpy as np
import pydicom as pd
from matplotlib import pyplot as plt

'''
    实现对多副图像的拼接融合
    需拼接图像存放到path路径：
        E:/Study/Opencv&Image/waiting_stitch_img
    拼接后图像存放路径为'save'路径:
        E:/Study/Opencv&Image/waiting_stitch_img/waiting_stitch_image
'''

path = r'E:/Study/Opencv&Image/waiting_stitch_img'
save = r'E:/Study/Opencv&Image/waiting_stitch_img/waiting_stitch_image'

image1 = cv2.imread(path + '/' + 'img1.jpg')
image2 = cv2.imread(path + '/' + 'img2.jpg')
image3 = cv2.imread(path + '/' + 'img3.jpg')
image4 = cv2.imread(path + '/' + 'img4.jpg')

gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)
gray3 = cv2.cvtColor(image3, cv2.COLOR_BGR2GRAY)
gray4 = cv2.cvtColor(image4, cv2.COLOR_BGR2GRAY)


'''
    函数: read_Dcm
    功能: 读取Dcm文件 
'''


def read_Dcm(path):
    # path = r"G:/DiCom/"
    # savePath = r"G:/save_image/save_dicom/"
    fileList = os.listdir(path)  # 将此路径内的文件或文件夹的路径列出来
    # 统计文件下图像个数
    totalNum = len(fileList)
    print('totalNum', totalNum)

    for filename in os.listdir(path):
        print(filename)
        for file in os.listdir(path + filename):
            # print(path + filename + '/' + file)
            dcm = pd.read_file(path + filename + '/' + file)
            # dcm = path + filename
            plt.imshow(dcm.pixel_array, 'gray')
            plt.title("dcm")
            plt.show()
    return dcm


'''
    函数: dcm_loadFileInformation
    功能: 获取DCM文件内tag信息
    参数: 传入的是DCM文件的路径
    内容: 分别获取患者的就诊ID、姓名、出生日期、性别等。
    返回值: 
            返回DCM值
'''


def dcm_loadFileInformation(path1):
    information = {}
    dcm = pd.read_file(path1)
    information['PatientID'] = dcm.PatientID
    information['PatientName'] = dcm.PatientName
    information['PatientBirthDate'] = dcm.PatientBirthDate
    information['PatientSex'] = dcm.PatientSex
    information['StudyID'] = dcm.studyID
    information['studyDate'] = dcm.studyDate
    information['StudyTime'] = dcm.StudyTime
    information['InstitionName'] = dcm.InstitionName
    information['Manufacturer'] = dcm.Manufacturer
    print("The DCM file information:", dcm)
    return dcm


'''
    函数: dcm2JPG
    功能: 将DCM文件夹转换为 jpg格式文件
    参数: 传入DCM文件路径
    内容: 从指定路径里读取DCM文件，并将其转换为jpg格式图像
    参数: 返回jpg图像
'''


def dcm2JPG(path):
    dcm = pd.read_file(path)
    return dcm


'''
    函数: JPG2dcm
    功能: 将JPG文件夹转换为dcm格式文件
    参数: 传入JPG文件路径
    内容: 从指定路径里读取jpg文件，并将其转换为dcm格式图像;
          并将文件相应信息写入DCM
    参数: 返回dcm图像
'''


def JPG2dcm(newpath):
    return


'''
    函数: SiFt
    功能: 提取图像特征
    参数: image1,image2为传入图像
    内容: 
        1.调用detectAndCompute寻找特征点和描述子；   
        2.调用drawKeypoints绘制特征点
    返回值:
        Imag_1,Image_2 保存特征点
        kp1,des_1,kp2,des_2分别表示两张图片的特征点和描述子
'''


def SIFT(image1, image2):
    sift = cv2.xfeatures2d.SIFT_create()
    kp1, des_1 = sift.detectAndCompute(image1, None)
    kp2, des_2 = sift.detectAndCompute(image2, None)
    Image_1 = cv2.drawKeypoints(image1, kp1, None)
    Image_2 = cv2.drawKeypoints(image2, kp2, None)
    return Image_1, Image_2, kp1, des_1, kp2, des_2


'''
    函数: FlAnn快速最近邻搜索包
    功能: 图像特征匹配
    参数: 传入图像的描述子des_1、des_2
    内容:
        1.index_params配置所需算法
        2.search_params设定递归次数    
    返回值:
         matchesc存放匹配对；
         matchesMask# 只需要绘制好的匹配项，因此创建一个掩码
'''


def flann(des_1, des_2):
    FLANN_INDEX_KDTREE = 0
    index_params = dict(algorithm=FLANN_INDEX_KDTREE,
                        tress=5)
    search_params = dict(checks=200)
    flann = cv2.FlannBasedMatcher(index_params, search_params)
    matches = flann.knnMatch(des_1, des_2, k=2)
    matchesMask = [[0, 0] for i in range(len(matches))]
    return matches, matchesMask


'''
    函数: ration_test
    功能: 比率测试 将不满足的最近邻匹配之间距离比率大于设定的阈值的匹配剔除.
    参数: 
         matches匹配对,kp特征点, matchesMask
    内容:
          1.当最小的两个距离的比率超过一定时，判断为不好的点,
          2.good[]用于存放匹配对数;设置matchesMask过滤匹配点
    返回值:
          good:存放匹配对数
          matchesMask:存放最优匹配点
'''


def ration_test(matches, kp1, matchesMask):
    good = []  # 存放匹配对数
    pts1 = []
    for i, (m, n) in enumerate(matches):
        if m.distance < 0.8 * n.distance:
            good.append(m)
            pts1.append(kp1[m.queryIdx].pt)
            matchesMask[i] = [i, 0]
    return good, pts1, matchesMask


'''
    函 数: MakeBorder
    功 能: 创建一个模板,用于匹配
    参 数: 
          Bordermg1、Bordermg2为输入图像;
    内 容: 
          srcImg对img1进行边界扩充后的图像 ;
          testImg对img2进行边界扩充后的图像 ;
    返回值:
          返回srcImg与TestImg
'''


def MakeBorder(BorderImg1, Bordermg2):
    top, bot, left, right = 0, 180, 0, 0
    srcImg = cv2.copyMakeBorder(BorderImg1,
                                top, bot, left, right,
                                cv2.BORDER_CONSTANT,
                                value=(0, 0, 0))
    testImg = cv2.copyMakeBorder(Bordermg2,
                                 top, bot, left, right,
                                 cv2.BORDER_CONSTANT,
                                 value=(0, 0, 0))
    return srcImg, testImg


'''
    函数: Draw_Tool
    功能: draw_params给特征点和匹配的线定义颜色,
         draw_Img连接匹配点；
    内容: draw_params给特征点和匹配的线定义颜色,
         draw_Img连接匹配点；
    参数: 
          matchesMask, 存放最优匹配点
          gray1,  gray2,待匹配图像
          kp1, kp2, 分别表示图像特征点
          matches,保存图像匹配对数
    返回值:
          draw_Img,特征匹配图像
'''


def Draw_Tool(matchesMask, gray1, kp1, gray2, kp2, matches):
    draw_params = dict(matchColor=(0, 255, 0),
                       singlePointColor=(255, 0, 0),
                       matchesMask=matchesMask,
                       flags=0)
    draw_Img = cv2.drawMatchesKnn(gray1, kp1, gray2,
                                  kp2, matches, None,
                                  **draw_params)
    return draw_Img


'''
    函数: StitchImg
    功能: 实现图像竖向、横向拼接
    内容: 
    参数: 
        srcImg,与上同；testImg,与上同
        good,存放好的匹配点
        kp1, kp2图像的特征点
'''


def StitchImg(srcImg, testImg, good, kp1, kp2):
    print("===========即将进行拼接！==============\n")
    rows, cols = srcImg.shape[:2]
    print("srcImg.shape[:2]", srcImg.shape[:2])
    rows1, cols1 = testImg.shape[:2]
    print("testImg.shape[:2]", testImg.shape[:2])
    MIN_MATCH_COUNT = 10
    if len(good) > MIN_MATCH_COUNT:
        print("len(good)", len(good))
        # 查询图像的特征描述子索引
        src_pts = np.float32([kp1[m.queryIdx].
                             pt for m in good]).reshape(-1, 1, 2)
        # 训练(模板)图像的特征描述子索引
        dst_pts = np.float32([kp2[m.trainIdx].
                             pt for m in good]).reshape(-1, 1, 2)
        # 计算的M是img1转换到img2的转换矩阵
        M, mask = cv2.findHomography(src_pts, dst_pts,
                                     cv2.RANSAC, 5.0)
        # flag用的是warp_inverse_map, 这是对M做一个反变换
        # 透视变换，新图像可容纳完整的两幅图
        warpImg = cv2.warpPerspective(testImg, np.array(M), (
            testImg.shape[1],
            testImg.shape[0]),
                                      flags=cv2.WARP_INVERSE_MAP
                                      )
        plt.imshow(warpImg, )
        plt.title("warpImg")
        plt.show()
        warpImg1 = cv2.warpPerspective(srcImg, np.array(M), (
            srcImg.shape[1] + 100,
            srcImg.shape[0] + 300),
                                       flags=cv2.WARP_INVERSE_MAP
                                       )
        plt.imshow(warpImg1)
        plt.title("warpImg1")
        plt.show()
        # 开始重叠的最左端
        for col in range(0, cols):
            left = col
            break
        print("开始重叠的左端位置是：第" + str(col) + "列！")
        # 从列表的下标为cols-1的元素开始,步长为1，
        # 倒序取到下标为0的元素（但是不包括下标为0元素）
        for col in range(cols - 1, 0, -1):
            # 重叠的最右一列
            if srcImg[:, col].any() and warpImg[:, col].any():
                right = col
                print("right", right)
                break
        print("开始重叠的右端位置是：第" + str(right) + "列！")
        # 存储黑色图像于res中，作为模板
        res = np.zeros([rows, cols, 3], np.uint8)
        plt.imshow(res)
        plt.title("res")
        plt.show()
        print("res_size", res.shape[:2])
        print("rows", rows)
        print("cols", cols)
        # 将图片testImg或srcImg像素填充进入至创建好的res模板中
        for row in range(0, rows):
            # print("row", row)
            for col in range(0, cols):
                # 如果没有原图，用旋转的填充
                if not srcImg[row, col].any():
                    res[row, col] = warpImg[row, col]
                elif not warpImg[row, col].any():
                    res[row, col] = srcImg[row, col]
                else:
                    # 图像融合
                    srcImgLen = float(abs(col - left))
                    testImgLen = float(abs(col - right))
                    alpha = srcImgLen / (srcImgLen + testImgLen)
                    res[row, col] = np.clip(srcImg[row, col]
                                            * (1 - alpha)
                                            + warpImg[row, col]
                                            * alpha
                                            , 0, 255)
        res_RGB = cv2.cvtColor(res, cv2.COLOR_BGR2RGB)
        plt.figure()
        plt.imshow(res_RGB)
        plt.title("res_RGB")
        plt.show()
        cv2.imwrite(save + '/' + 'img5.jpg', res_RGB)
    else:
        print("Not enough matches are found - {}/{}".format(len(good),
                                                            MIN_MATCH_COUNT))
        matchesMask = None
    print("=====================拼接完成！===========================\n")
    return res_RGB

# 主程序执行模块
# def main():


if __name__ == '__main__':
    print("=============主函数执行！！===========\n")
    # path = r"G:/DiCom/"
    # dcm = read_Dcm(path)
    print("第一次拼接！！！！！")
    img1, img2, k1, des1, k2, des2 = SIFT(image1, image2)
    matches, matchesMask1 = flann(des1, des2)
    good, pts, matchesMask2 = ration_test(matches, k1, matchesMask1)
    srcImg, testImg = MakeBorder(image1, image2)
    draw_Img = Draw_Tool(matchesMask2, gray1, k1, gray2, k2, matches)
    res1 = StitchImg(srcImg, testImg, good, k1, k2)
    print("第二次拼接！！！！！")
    img3, img4, k3, des3, k4, des4 = SIFT(image3, image4)
    matches34, matchesMask34 = flann(des3, des4)
    good1, pts1, matchesMask5 = ration_test(matches34, k3, matchesMask34)
    srcImg1, testImg1 = MakeBorder(image3, image4)
    draw_Img1 = Draw_Tool(matchesMask5, gray3, k3, gray4, k4, matches34)
    res2 = StitchImg(srcImg1, testImg1, good1, k3, k4)
    print("第三次拼接！！！！！")
    img5, img6, k5, des5, k6, des6 = SIFT(res1, res2)
    matches56, matchesMask56 = flann(des5, des6)
    good2, pts2, matchesMask6 = ration_test(matches56, k5, matchesMask56)
    srcImg2, testImg2 = MakeBorder(res1, res2)
    draw_Img2 = Draw_Tool(matchesMask56, res1, k5, res2, k6, matches56)
    res3 = StitchImg(srcImg2, testImg2, good2, k5, k6)

大概的框图如下（没能认真整理真是抱歉）：

在这里插入图片描述
下一把打算对瑕疵部分进行优化T_T，又是头大的一天！！！！！

卖丶竹鼠了

关注

6
点赞
踩
14

收藏

觉得还不错? 一键收藏
1
评论
【OpenCV+Python实现医学影像拼接（一）】

**OpenCV+Python实现医学影像拼接（一）**内容仅供参考首先是准备拼接的图片，（由于环境原因，本人裁剪的）原图片为我的思路是一二先拼接，三四再拼接，拼接后图片如下：与原图像对比还是有较为明显的瑕疵：如拼接缝、底部内容模糊、旁边线条歪了等。以下是我的程序界面。给大家介绍下我的环境把win10，Python 3.7 opencv与contrib版本为4.5.5.62这里我将一些直接定义了一些函数，调用起来方便。# coding: utf-8# 实现上下左右多副图
复制链接

扫一扫