CV理论基础（二）：图像预处理

图像显示与存储原理

颜色空间

颜色空间	适用范围	通道/要素	一个像素颜色值	取值范围	图片
RGB颜色空间	加法混色，彩色显示器	3个通道 ： Red通道、Green通道、Blue通道	（b，g，r）	[0,255] [0.0,1.0]
CMY（K）颜色空间	减法混色，印刷	4个通道： Cyan通道、Magenta通道、Yellow通道、Key通道	（c，m，y，k）	[0,255] [0.0,1.0]
HSV颜色空间	人类视觉概念，画家配色	3个要素：H/Hue：色调颜色种类；S/Saturation：饱和度颜色的纯度；V/Value：明度，颜色明亮度	（h，s，v）	[0,255] [0.0,1.0]
CIE-XYZ颜色空间	国际照明协会，基于人类颜色视觉的直接测定，其他颜色的基础	人类视觉系统-视锥细胞：短波（S，420-440nm）；中波（M，530-540nm）；长波（L，560-580nm） 3色刺激通道XYZ大致对应于红色、绿色、蓝色	-	-
Lab颜色空间	用数字化的方法来描述人的视觉感应	L分量表示像素的亮度，取值范围是[0，100]，表示从纯黑到纯白；a表示从品红色到深绿色的范围，取值范围是[127,-128]，b表示从黄色到蓝色的范围，取值范围是[127,-128]	(L,a,b)	[0,100] [127,-128] [127,-128]

图片存储原理

1. 主流颜色空间

• RGB三通道彩色图
  图片—>3维矩阵$[0,255]$

• 单通道灰度图
  亮度信息$[0,255]$
  $Gray=R\ast 0.3+G\ast 0.59+B\ast 0.11$

2. RGB图片数据格式
   常见的存储格式：bmp，jpg，png，tiff，gif，pcx，tga，exif，fpx，svg，psd，cdr，pcd，dxf，ufo，eps，ai，raw，WMF，webp等。

• BMP：采用位映射存储格式，不采用其他任何压缩，所占用的空间很大。

• JPG：最常见的有损压缩格式，能够将图像压缩到很小的空间，压缩比可达10：1到40：1之间。

• GIF：基于LZW算法的连续色调的无损压缩格式，其压缩率一般在50%左右。

• PNG：比较新的图像文件格式，能够提供长度比GIF小30%的无损压缩图像文件。

图像增强目标

改善图像视觉效果
转换为更适合人或机器分析处理的形式
突出人或机器分析有意义的信息
一致无用信息，提高图像的使用价值

具体包括：图像锐化、平滑、去噪、灰度调整（对比度增强）

图像处理

空间域处理

点运算

1.概念介绍

（1）点运算：基于直方图的对比度增强

（2）直方图（Histogram）：对图片数据/特征分布的一种统计，对数据空间（bin）的一种量化

（3）区间（bin）：具有一定统计或物理意义的数据或特征的代表，需要预定义或基于数据进行学习。

（4）数值：一种统计量，包括概率、频数

2.直方图均衡化

概念：指利用图像直方图对对比度进行调整的方法，实际上实对图像进行非线性拉伸，重新分配各个灰度单位中的像素点数量，使一定灰度范围像素点数量的值大致相等。

用处：增加图像局部对比度而不影响整体对比度，尤其在图像有用数据对比度相当接近的时候

作用：直方图均衡化后，亮度可以更好地在直方图上分布

经典算法：对整幅图像的像素使用相同的变换，如果图像包括亮度差别明显的位置，则经典算法作用有限

3.算法

（1）自适应直方图均衡（AHE）

通过对局部区域进行直方图均衡，解决经典算法作用有限的问题

步骤：移动模板在原始图片上按特定步长滑动；每次移动后，模板区域内做直方图均衡，映射后的结果赋值给模板区域内所有点；每个点会有多次赋值，最终的取值为这些赋值的均值。

缺点：会过度放大图像中相对均匀区域的噪音

（2）限制对比度直方图均衡（CLAHE）

用修剪后的直方图均衡图像，图像对比会更自然，示意图如下：


计算：小黑点的灰度直接由映射函数计算得到；粉色区域内点的灰度由映射函数计算而得；绿色区域内点的灰度由相邻2块灰度映射值线性插值而得；其他区域所有点的灰度由相邻4块的灰度映射值双线性插值而得。

算法步骤：

• 图像分块，以块为单位
• 先计算直方图，然后修剪直方图，最后均衡
• 遍历操作各个图像块，进行块间双线性插值
• 与原图做图层滤色混合操作

形态学处理

膨胀是图像中的高亮部分进行膨胀，类似于领域扩张
腐蚀是原图的高亮部分被腐蚀，类似于领域被蚕食

开运算：先腐蚀再膨胀，去掉目标外的孤立点
闭运算：先膨胀再腐蚀，可以去掉目标内的孔

当有噪声的图像用阈值二值化后，所得到的边界是很不平滑的，物体区域具有一些错判的孔洞，背景区域散布着一些小的噪声物体，连续的开和闭运算可以显著的改善这种情况。

空间域处理及其变换

1.概念：滤波/卷积是在每个图片位置（x,y）上进行基于邻域的函数计算、

参数解释：xy是像素在图片中的位置/坐标；kl是卷积核中的位置/坐标（中心点坐标是（0，0））；f[k，l]是卷积核中在（k，l）中的权重参数；I[x+k，y+1]是与f[k，l]像对应的图片像素值；h[x，y]是图片中（x，y）像素的滤波/卷积结果

2.用处：不同功能需要定义不同函数，功能包括：平滑/去噪、梯度/锐化、边缘、显著点、纹理、模式检测

3.具体操作：
具体操作：卷积核叠加到图片，同一位置依次计算最终得到结果，卷积结果绝大部分是缩小的。

4.边界填充（Padding）：获得同尺寸输出的情况下，卷积核越大，补充越多

补充类型：
$7\times 7$卷积：$3\times 3\to 9\times 9$

• 补零（zero-padding）
  
• 边界复制（replication）
  
• 镜像（reflection）
  
• 块复制（wraparound）
  

5.平滑滤波/卷积：
（1）平滑均值滤波/卷积：
缺陷：没有很好地去除噪声点，也破坏了图像细节反而使图像变得模糊
奇数尺寸： 3 × 3 , 5 × 5 , 7 × 7 , 2 n − 1 × 2 n − 1 3 \times 3,5\times5,7\times7,2n-1 \times 2n-1