基于 FCCA 的多特征融合的检索方法

论文杂记
上一篇	主目录	下一篇

---

【前言】
出自电子工程设计2019.7期，中国石油大学（华东）计算机与通信工程学院，山东 青岛 266580
要点概述：

1. 基于 FCCA 的多特征融合的检索方法
2. 通过卷积神经网络获取图像位置和类别，提取颜色和纹理特征，通过典型相关分析方法将两个特征进行融合然后作为检索的依据，用欧氏距离进行匹配。

关键词：Faster-RCNN；典型相关分析；多特征融合；分类、检索

---

1 知识基础

1.1 卷积神经网络

CNN的工作原理

1.2 灰度共生矩阵

灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。
取图像(N×N)中任意一点 （x，y）及偏离它的另一点 （x+a，y+b），设该点对的灰度值为 （g1，g2）。令点（x，y） 在整个画面上移动，则会得到各种 （g1，g2）值，设灰度值的级数为 k，则（g1，g2） 的组合共有 k 的平方种。对于整个画面，统计出每一种 （g1，g2）值出现的次数，然后排列成一个方阵，再用（g1，g2） 出现的总次数将它们归一化为出现的概率P（g1，g2） ，这样的方阵称为灰度共生矩阵。距离差分值（a，b） 取不同的数值组合，可以得到不同情况下的联合概率矩阵。（a，b） 取值要根据纹理周期分布的特性来选择，对于较细的纹理，选取（1，0）、（1，1）、（2，0）等小的差分值。

• 当 a=1，b=0时，像素对是水平的，即0度扫描；
• 当a=0，b=1 时，像素对是垂直的，即90度扫描；
• 当 a=1，b=1时，像素对是右对角线的，即45度扫描；
• 当 a=-1，b=1时，像素对是左对角线，即135度扫描。

这样，两个象素灰度级同时发生的概率，就将 （x，y）的空间坐标转化为“灰度对” （g1，g2）的描述，形成了灰度共生矩阵。
实验中对灰度共生矩阵进行了如下的归一化：

更多内容： 灰度共生矩阵（百度百科）

1.3 LBP 特征

见《增强旋转不变ＬＢＰ算法及其在图像检索中的应用》 1.1节

1.4 特征融合

特征融合包括直接将特征进行融合进行检索和在检索之后通过融合不同特征的检索结果进行检索。前者特征融合的方法有以下几种：串联融合法[5]、并行融合法[6]和典型相关分析（CCA）。利用基于图的多特征融合方法提高图像检索效果，适用于大规模图像检索，对小型数据库存在局限性。
推荐阅读：深度特征融合—高低层特征融合

1.5 典型相关分析算法（CCA）

CCA（Canonical Correlation Analysis），目的是研究多个随机向量的相关性。该算法广泛用于模式识别。其基本思想找到一个基向量，使得空间内的两个随机变量在基向量上的投影相关性最大。根据 3.3 章节求出上文中提到的基向量，将不同的特征向量分别和基向量相乘，通过计算作图像融合后的特征向量。但是直接使用CCA 方法存在以下问题：其一忽略类别之间的差异，使用该方法的主要目的是区别不同的特征，但在本文的图像检索中需要将相同类进行归类以提高检索速度。其二在提取特征时将其他冗余信息也作为特征的一部分，使得提取的特征不够准确。为解决以上两个问题，引入 Faster-RCNN 网络获取图像主体信息的位置和类别。

典型相关分析 (推荐阅读)
典型相关分析（百度百科）

1.6 Faster-RCNN

Faster-RCNN 作为目前精度较高的目标检测网络模型，在 Fast-RCNN 网络上进行改进，将区域建议网络与之融合，大大缩短了计算时间，使检测和定位的速度接近实时。本文使用该网络模型获取图像中主要信息的位置和类别，目的是提高行李图像的检索。目前常见的网络结构包括 VGG16[15]网络和 ZF[16]网络。经实验结果表示，在小数据集上，两个网络模型在定位和分类的效果相似，ZF 网络训练过程短，在进行图像检索时耗时更短，因此本文选取 ZF 网络模型训练机场行李图像。Faster-RCNN 的模型主要分为两大模块，RPN 模块负责区别是否为背景，检测模块负责将卷积层和RPN 输出的特征送入全连接层进行分类。

faster-rcnn原理讲解(推荐阅读)
FasterRCNN原理
Faster R-CNN文章详细解读

2 本文工作

2.1 算法整体流程

对图像数据库中每张图像添加标签，使用 Faster-RCNN 网络模型训练数据库，获得图像中感兴趣区域和图像类别。将得到的区域提取颜色和 LBP特征，然后使用 CCA 方法计算，使不同特征经过转换后相关性最大。计算后，将特征(应该是相关性大的特征)融合并合并，最后将欧氏距离用于图像检索。
流程图：

2.2 颜色直方图和纹理特征

颜色直方图
这里的颜色用到了HSV的表示方法，更多吧关于HSV信息参阅：
https://baike.baidu.com/item/HSV/547122?fr=aladdin
颜色直方图方法是计算颜色空间 3个通道 H、S、V 的通道的像素值，然后根据数值统计形成直方图。直方图可用于简单描述图像中颜色的全局分布，即整个图像中不同颜色的比例。颜色直方图可以用一个一维的离散函数表示为：

• 其中 k 代表图像的特征值，L 代表图像的特征可取的值个数，nk是整幅图像中特征值为 k的象素的个数，N 代表图像中像素的总数。

本文分别在 HSV 3个通道上以强度值范围 0~255 进行统计，之后统计这 3 个通道上的直方图，每个通道基于颜色出现的频率对 40 维特征向量进行计数(应该是在0~255中选取出现概率最大的前40个概率值作为40维特征向量)，然后将总共 120 个维度中的 3个通道的特征向量联系起来。

纹理特征
更多关于LBP参阅我的另一篇：《增强旋转不变ＬＢＰ算法及其在图像检索中的应用》 中1.1节

2.3 特征融合

LBP 特征具有灰度不变性和旋转不变性，其对光照几乎没有影响，LBP是能反应纹理特征的，但有时不反映对象表面的纹理特征。为此，如果能实现多特征的融合，就能获得更为理想的检索结果。因此本文采用局部和整体融合的方案，分别计算颜色特征和纹理特征，分析原有独立特征向量之间的相关性将两者结合在一起构成一个新的特征向量，作为图像新的特征进行检索。下面是特征融合的过程：
设颜色直方图特征和 LBP 特征分别为 X 和 Y，其维度为 P1、P2

1）求 X 和 Y 的协方差矩阵 Cxx、Cyy、Cxy、Cyx，得到 X和 Y的相关阵

2）计算矩阵 A和 B；

3）求 A、B 矩 阵 的 特 征 值 λi ^2(i = 1,2,3,…r) 且 r=min(P1，P2))和对应的标准正交特征向量 μi 和 νi ；
4）设典型投影向量


求得 δxi ，δyi(i = 1,2,3…,r) ，取前 K 对向量组成典型投影矩阵 Wx和 Wy；根据线性变换关系得到融合特征。

数学是硬伤

论文杂记：传送门