图像处理总结概念

1.直方图：一幅图像由不同灰度值的像素组成，图像中灰度的分布情况是该图像的一个重要特征。图像的灰度直方图就描述了图像中灰度分布情况，能够很直观的展示出图像中各个灰度级所占的多少。图像的灰度直方图是灰度级的函数，描述的是图像中具有该灰度级的像素的个数：其中，横坐标是灰度级，纵坐标是该灰度级出现的频率。

数字图像在范围[0，G]内总共有L个灰度级，直方图为h(r_K)=n_k

r_K是去见[0，G]内的第K级亮度，n_k是灰度级为r_K的像素数。

归一化直方图：

1.1直方图对比：

方法描述：有两幅图像patch(当然也可是整幅图像)，分别计算两幅图像的直方图，并将直方图进行归一化，然后按照某种距离度量的标准进行相似度的测量。

方法的思想：基于简单的向量相似度来对图像相似度进行度量。

优点：直方图能够很好的归一化，比如256个bin条，那么即使是不同分辨率的图像都可以直接通过其直方图来计算相似度，计算量适中。比较适合描述难以自动分割的图像。

缺点：直方图反应的是图像灰度值得概率分布，并没有图像的空间位置信息在里面，因此，常常出现误判；从信息论来讲，通过直方图转换，信息丢失量较大，因此单一的通过直方图进行匹配显得有点力不从心。

 

矩阵分解的方法

方法描述：将图像patch做矩阵分解，比如SVD奇异值分解和NMF非负矩阵分解等，然后再做相似度的计算。

方法思想：因为图像本身来讲就是一个矩阵，可以依靠矩阵分解获取一些更加鲁棒的特征来对图像进行相似度的计算。

基于SVD分解的方法优点：奇异值的稳定性，比例不变性，旋转不变性和压缩性。即奇异值分解是基于整体的表示，不但具有正交变换、旋转、位移、镜像映射等代数和几何上的不变性,而且具有良好的稳定性和抗噪性，广泛应用于模式识别与图像分析中。对图像进行奇异值分解的目的是得到唯一、稳定的特征描述，降低特征空间的维度，提高抗干扰能力。

基于SVD分解的方法缺点是：奇异值分解得到的奇异矢量中有负数存在，不能很好的解释其物理意义。

基于NMF分解的方法：将非负矩阵分解为可以体现图像主要信息的基矩阵与系数矩阵，并且可以对基矩阵赋予很好的解释，比如对人脸的分割，得到的基向量就是人的“眼睛”、“鼻子”等主要概念特征，源图像表示为基矩阵的加权组合，所以，NMF在人脸识别场合发挥着巨大的作用。

基于矩阵特征值计算的方法还有很多，比如Trace变换，不变矩计算等。

基于特征点方法

方法描述：统计两个图像patch中匹配的特征点数，如果相似的特征点数比例最大，则认为最相似，最匹配

方法思想：图像可以中特征点来描述，比如sift特征点，LK光流法中的角点等等。这样相似度的测量就转变为特征点的匹配了。

以前做过一些实验，关于特征点匹配的，对一幅图像进行仿射变换，然后匹配两者之间的特征点，选取的特征点有sift和快速的sift变形版本surf等。

方法优点：能被选作特征点的大致要满足不变性，尺度不变性，旋转不变等。这样图像的相似度计算也就具备了这些不变性。

方法缺点：特征点的匹配计算速度比较慢，同时特征点也有可能出现错误匹配的现象。

基于峰值信噪比（PSNR）的方法

当我们想检查压缩视频带来的细微差异的时候，就需要构建一个能够逐帧比较差视频差异的系统。最

常用的比较算法是PSNR( Peak signal-to-noise ratio)。这是个使用“局部均值误差”来判断差异的最简单的方法，假设有这两幅图像：I1和I2，它们的行列数分别是i，j，有c个通道。每个像素的每个通道的值占用一个字节，值域[0,255]。注意当两幅图像的相同的话，MSE的值会变成0。这样会导致PSNR的公式会除以0而变得没有意义。所以我们需要单独的处理这样的特殊情况。此外由于像素的动态范围很广，在处理时会使用对数变换来缩小范围。

            

              

基于结构相似性（SSIM,structural similarity (SSIM) index measurement）的方法

结构相似性理论认为，自然图像信号是高度结构化的，即像素间有很强的相关性，特别是空域中最接近的像素，这种相关性蕴含着视觉场景中物体结构的重要信息；HVS的主要功能是从视野中提取结构信息，可以用对结构信息的度量作为图像感知质量的近似。结构相似性理论是一种不同于以往模拟HVS低阶的组成结构的全新思想，与基于HVS特性的方法相比，最大的区别是自顶向下与自底向上的区别。这一新思想的关键是从对感知误差度量到对感知结构失真度量的转变。它没有试图通过累加与心理物理学简单认知模式有关的误差来估计图像质量，而是直接估计两个复杂结构信号的结构改变，从而在某种程度上绕开了自然图像内容复杂性及多通道去相关的问题.作为结构相似性理论的实现，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

图像模板匹配：一般而言，源图像与模板图像patch尺寸一样的话，可以直接使用上面介绍的图像相似度测量的方法；如果源图像与模板图像尺寸不一样，通常需要进行滑动匹配窗口，扫面个整幅图像获得最好的匹配patch。

模板匹配：是一种在源图像中寻找与图像patch最相似的技术，常常用来进行目标的识别、跟踪与检测。其中最相似肯定是基于某种相似度准则来讲的，也就是需要进行相似度的测量。另外，寻找就需要在图像上进行逐行、逐列的patch窗口扫描，当然也不一定需要逐行逐列的扫描，当几个像素的误差比计算速度来的不重要时就可以设置扫描的行列步进值，以加快扫描和计算的时间消耗。下面就对相似度测量和模板匹配进行介绍（所有的图像都假定是灰度图）。

         

         

1.2反向投影：一种记录给定图像中像素点如何适应直方图模型像素分布方式的一种方法，也就是说首先计算某一种特征的直方图模板，然后使用模板在去寻找图像中存在的该特征的方法。  作用：反向投影用于在输入图像（通常较大）中查找特定图像（通常较小或者仅1个像素，以下将其称为模板图像）最匹配的点或者区域，也就是定位模板图像出现在输入图像的位置。

反向投影如何查找（工作）？

查找的方式就是不断的在输入图像中切割跟模板图像大小一致的图像块，并用直方图对比的方式与模板图像进行比较。

反向投影的结果是什么？

反向投影的结果包含了：以每个输入图像像素点为起点的直方图对比结果。可以把它看成是一个二维的浮点型数组，二维矩阵，或者单通道的浮点型图像。

假设我们有一张100x100的输入图像，有一张10x10的模板图像，查找的过程是这样的：

（1）从输入图像的左上角(0,0)开始，切割一块(0,0)至(10,10)的临时图像；

（2）生成临时图像的直方图；

（3）用临时图像的直方图和模板图像的直方图对比，对比结果记为c；

（4）直方图对比结果c，就是结果图像(0,0)处的像素值；

（5）切割输入图像从(0,1)至(10,11)的临时图像，对比直方图，并记录到结果图像；

（6）重复（1）～（5）步直到输入图像的右下角。

1.3.直方图均衡化：