面向缺陷检测的图像配准的方法和研究
图像配准 Image Registration
图像配准的步骤:
(使用基于特征的方法)
- 关键字检测、特征描述(SIFT ORB)
- 特征匹配
- 图像变换
1、采用 SURF 特征和局部互相关信息的图像配准算法
图像配准技术:通过对同一场景多角度成像的多幅图像进行几何参数变换的过程,通过特征提取把多幅存在变形或者重叠区域的图像完成一致性调整。
常用的图像配准包括三类:采用灰度信息互相关性配准、特征配准以及变换域配准。
具有尺度和旋转不变性算子
SIFT(Scale-Invariant Feature Transform)
尺度不变特征变换
SURF (Speed Up Robust Features)
加速鲁棒性特征
BRIEF(Binary Robust Independent Elementary Features)
二进制的鲁棒性独立特征
ORB(Oriented Brief)
二进制简单描述符 首先借助加速分割测试特征(Features From Accelerated Segment Test,FAST)获取带有尺度不变性的角点特征信息,然后计算出角点的主方向,并建立带有旋转不变性的BRIEF 描述符,有效改善了运算效率。
CCI(Cross-Correlation Information)
基于互相关信息的图像配准 通过模板图像在基准图像中移动,来求解两者的相似度,而峰值出现的地方即为所求的配准位置,然周再通过计算变换矩阵,从而实现图像配准。
- 基于互相关信息的图像配准:对于偏转角较大的图像配准效果不好,会发生明显扭曲和形变。 配准偏移误差几乎为零(?啥意思),但时间长,不能满足工程应用。
- ORB:配准耗时最小,但配准精度最大。
- SIFT: 精度和耗时均表现一般。
- SURT:兼顾精度和耗时,具备较好的鲁棒性。
- SURF+局部互相关信息:具备更高的配准精度。
2、基于关键点匹配的烟包标签错误检测算法(比较贴近论文主题)
SIFT算法的用法值得学习!
SIFT算法
1. 关键点检测
方法不太懂?
2. 关键点特征提取
对参考图像和待匹配图像进行关键点检测,得到对应的特征集。
3. 关键点匹配
4. 匹配结果分析
不适合烟包标签检测,是否适合缺陷检测?
方法二:基于关键点匹配的烟包标签错误类型检测算法
由于烟包成像环境较为稳定,整个成像过程中光照和设备工况基本不变,这使得图像的色彩、明暗、成像角度和成像距离变化都不大。所以,关键点的颜色空间、显著度信息可以做新的特征。
文中介绍了相关公式
1. 关键点提取 使用SIFT算法 +提取关键点的色彩、显著度等扩展特征。
取r为半径
2. 相似点簇聚集,进行相应关系评估
4. 依据关键点匹配结果进行标签参数计算,最终得到错误类型。
局限性:图像中背景部分变化较大时,需要对标签部分和背景部分进行更复杂的识别。(是否可以用于印刷品的缺陷检测?)
3、一种基于SIFT的图像拼接方法
*尺度不变特征变换(Scale Invariant Feature Transform,SIFT)*利用128维的特征向量来表示图像中检测到的特征点。其实质是在图像的不同尺度空间中寻找关键点,并得到关键点的方向。
步骤:
1. 建立高斯差分金字塔
2. (和上一篇所讲内容相似)
算法缺点:
- 速度慢,实时性不高
- 对模糊图像和平滑边缘图像无效
算法优点:
- SIFT算法找到的图像特征是局部的,对于旋转、缩小放大和对比度变化具有较高的适应性,对拍摄角度的改变、错切变换以及附加噪声也有较好的效果。
- 精确性性好,特征点丰富,达到精确匹配。
- 多量性,即使是少数目标也能产生丰富的特征向量。
多种角度比较SIFT、SURF、BRISK、ORB、FREAK算法
本文采用 Mikolajczyk 和 Schmid提供的经过不同变化的图像数据集从多个角度对sift、surf、brisk、orb、freak进行比较实验,得出不同图像变化中,各种匹配算法的不同表现。
1. 算法匹配速度比较
ORB、FREAK、SURF、BRISK、SIFT
2. 旋转变换鲁棒性比较
通过匹配对数折线图中数量变化的斜率可以看出,在图像发生旋转时,特征点匹配对数基本上都在下降,SIFT和SURF算法在旋转角度小时能够表现出一定的稳定性,FREAK算法在旋转角度大时,具有一定的优势。
3. 模糊变换鲁棒性比较
通过匹配对数折线图(见图2)中数量变化的斜率可以看 出,随 着 模 糊 程 度 的 增大,各种算法的匹配对数都在下降,SURF算法表现稍好,BRISK算法在模糊程度不大时会有明显的下降。
4. 光照变换鲁棒性比较