毕业设计-基于机器双目图像匹配方法 -YOLO

目录

前言

课题背景和意义

实现技术思路

一、深度学习在图像领域的研究现状

二、双目图像匹配及深度学习目标检测

1、双目图像匹配算法介绍

2、深度学习与卷积神经网络

实现效果图样例

最后

---

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯毕业设计-基于机器双目图像匹配方法 -YOLO 

课题背景和意义

随着图像处理技术和深度学习算法的飞速发展，计算机视觉技术在生产生活领域中得到了广泛应用，如自动驾驶和视频智能监控等技术已经成为国内外研究热点。在一些工程领域中需要进行高空测距等工作，由于人工测距工作难度较大，危险系数较高，此时双目测距系统这种智能化视频监控便得到了广泛使用。双目图像匹配是作为计算机视觉的关键技术之一是实现双目测距的基础支撑，可以快速准确地判别物体类别和与相似物体建立视觉联系，分析两者的相似性和一致性从而获取更有意义的视觉关系信息，辅助计算机像人类一样去认知和理解物体。如何在匹配中克服光照、尺度和角度等变化，准确地建立图像间的视觉联系成为图像匹配技术的一大难题。双目测距系统是根据左右视差原理来实现固定目标物体的视觉测距目的，而传统的一些匹配算法无法非常准确的辨别不同物体之间非常相似的特征点，会由于匹配错误而影响双目测距结果，所以对双目图像进行特征点匹配的区域进行限定的基于深度学习 YOLO(You Only Look Once) 目标检测算法的双目图像匹配技术具有一定的应用和研究价值。

实现技术思路

一、深度学习在图像领域的研究现状

早期的目标检测方法通常是通过手工提取图像特征，使用多尺度形变部件模型DPM(Deformable Parts Model)，用滑动窗口的方式来预测具有较高分数的边框，这种方法非常耗时，而且精度不高。后来出现了目标提名方法，其中选择性搜索为这类方法的典型代表，相比于滑动窗口的穷举方式，该方法减少了大量的计算，同时在性能上也有很大的提高。利用选择性搜索的结果，结合卷积神经网络的 R-CNN 算法出现后，目标检测的性能有了一个质的飞越。

 

二、双目图像匹配及深度学习目标检测

图像匹配技术是三维立体重建、相机校准、场景识别、运动追踪等一些计算机视觉应用的关键，即在同一场景或对象不同视角的两个图像之间一一对应关系。图像匹配技术是三维立体重建、相机校准、场景识别、运动追踪等一些计算机视觉应用的关键，即在同一场景或对象不同视角的两个图像之间一一对应关系。

1、双目图像匹配算法介绍

1） SIFT 特征点匹配

SIFT 算法在这些变化上具有不变性特征，应用在目标识别等方面有较好的效果，以及对视角变化、仿射，法在双目视觉应用中表现出了良好的鲁棒性，也就多应用在尺度、旋转、平移等场景变换的双目图像匹配方面。

对图像进行基于尺度空间实现关键点检测就要得到多尺度空间图像，也就是高斯金字塔。首先要高斯核卷积处理图像，高斯卷积核是一种线性变换核，在这里用来实现尺度变换，然后再依据不同尺度的图像进行特征提取。

式中的高斯函数 G ( x ，y)  为尺度可以变化的函数：

 空间尺度因子决定图像平滑度与尺度，但是和图像的清晰度成反相关的关系， 空间尺度因子值越大图像的平滑度就越高，但是图像的清晰度反而会越低，反之亦然，图像的平滑度越低的同时清晰度反而会越高，图像的细节信息也就增强了。

 将每阶相邻的卷积图像做差，可以获得 DOG 图像：

 

还需要拟合尺度空间 DOG 函数曲线，是为了提高特征点的稳定性。特征点位置和尺度值是经过对高斯差分函数的二阶泰勒展开式 D ( X) 插值得到：

采样点和特征点之间的位置还有尺度的偏移情况是由式中向量 X(  x， y,) 描述的。式中的一阶导数为设置为零，便可得特征点精确位置。

要使 SIFT 算法对图像具有旋转不变性，就要具有旋转不变性描述子，这样一来给特征点分配的方向就要依赖于图像的局部特征。

还要在高斯空间上计算特征点的梯度方向θ (x， y ,)

2）SURF 特征点匹配

SURF 是一种基于局部不变特征的描述子，是对 SIFT 算法的一种改进，对图像具有尺度、平移还有旋转不变性，用一种更为高效的方式完成特征的提取和描述，计算速度更快。

SURF 算法与 SIFT 算法在关键点检测时有很大一点不同在于图像金字塔的构造上，SURF 的金字塔图像是 Hessian 矩阵的行列式近似值图像， SIFT 的金字塔图像是 DOG尺度空间的图像。为了生成图像稳定的边缘点或者是突变点，Hessian 矩阵就是 SURF 算法的核心所在，是接下来特征提取工作的准备工作。求出每个像素点的 Hessian 矩阵：

 Hessian 矩阵的判别式为：

 在 SURF 算法中，图像像素 I  (x， y ) 即为函数值f  (x ，y ) ：

 Hessian 矩阵的三个元素由计算特定核间的卷积二阶偏导数得到，然后得到 Hessian矩阵：

为了提高运算速度，SURF 不再使用服从正态分布的高斯滤波器，选择了盒式滤波器来近似替代。

SURF 算法在特征点方向确定阶段，为了保证旋转不变性，在特征点圆形区域邻域内计算 xy 方向的 harr 小波响应，统计在六十度扇形内所有点在 x (水平)和 y (垂直)方向的 harr 小波响应总和，将六十度扇形以一定间隔进行旋转，找到模最大的扇形方向，作 为该特征点的主方向如图：

取一个边长一定的正方形框在特征点周围。选取的这个框的方向就是检测出来的主方向，最终 SURF 的特征点特征向量的维度是六十四维。方向的水平和垂直都是根据选取框的主方向为衡量标准的。如图：

选取的特征点周围的框被分为十六个正方形子区域，统计二十五个像素在不同子区域的水平方向和垂直方向的 harr 小波特征。

2、深度学习与卷积神经网络

1）深度学习

深度学习是指使用机器学习算法在多层神经网络上处理图像、文本等一些数据的算法集合，特征学习是其核心所在，不同层次的特征信息可以通过多层次结构的网络提取获得，神经网络自主学习和提取特征的特点解决了人工提取特征的麻烦，减少了手工提取特征的工作量。

2）卷积神经网络

卷积神经网络已经成为了众多研究者热点研究方向， Alex Net 模型 在 Imagenet 图像识别任务中表现非常出色，展现了强大的学习能力后 VGG 、 Google Net等后来被提出的卷积神经网络模型在计算机视觉的识别任务中表现了更好的识别效果。

 3）基于深度学习的目标检测算法

目标检测是机器视觉领域的核心问题之一，其主要目的是尽可能找出图像中包含的目标物体，并且获取目标物体的位置和类别信息。

①R-CNN 目标检测算法

R-CNN 算法将大型卷积神经网络应用于自下而上的候选区域以定位和分割物体， 由卷积网络学习候选框和标定框的正负样本特征后对候选框以及标定框完成边框回归操作达到目标检测的定位目的。

 ② SPP-Net 目标检测算法

SPP-Net 方法和 R-CNN 方法最大的不同是在特征提取阶段使用了金字塔池化。不 同于 R-CNN 先输入每个候选框再进输入卷积神经网络，在这一步，SPP-Net 算法中卷积神经网络的输入是整个完整的图像，将图像特征信息一次性全部提取出来，得到特征图。

③ Fast R-CNN 目标检测算法

Fast R-CNN 将一张完整图像归一化为 224×224 与物体推荐框一起送入网络对特征图进行特征提取，每个区域经过池化层和全连接层得到一个固定长度的特征向量，最开始提取出的 ROI 作为整体输入进卷积网络，在最后的边界框回归时使用，用来输出原图中的位置。

 ④ Faster R-CNN 目标检测算法

Faster R-CNN 进行特征提取时把整张图片作为卷积神经网的输入进行处理，采用区域推荐网络 RPN 代替选择性搜索 SS ，利用 GPU 进行计算大幅度缩减提取区域推荐的速度，产生建议窗口的卷积网络和目标检测的卷积网络共享。

 

基于区域推荐网络的 R-CNN 系列的目标检测算法不断迭代优化，对其性能表现及优缺点对比如表：

实现效果图样例

匹配算法实验结果对比

针对双目图像特征点匹配技术中的尺度不变特征变换 SIFT 、局部特征算法 SURF 非常典型的算法进行了研究，介绍并分析不同双目图像匹配算法各自的基本原理及特点，包括特征点的位置确定和方向确定算法。

使用 SIFT 和 SURF 基于图像特征点的匹配算法对 KITTI 双目数据集和双目摄像头在实验室中的自采集数据进行匹配试验，将SIFT和SURF检测特征点数阈值设定为100，特征点匹配效果图如下图所示：

KITTI 双目图像 SIFT 匹配

 KITTI 双目图像 SURF 匹配

自采集双目图像 SIFT 匹配

 自采集双目图像 SURF 匹配

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后