计算机视觉:图像预处理

1、常见存储：

RGB：加法混色，三个颜色通道
CMYK：减法混色，四个维度
HSV：人类视觉概念，三个要素：色调、饱和度、亮度
CIE-XYZ：基于人类颜色视觉的直觉测定：中波、短波、长波

2、图片存储原理：

RGB：三通道彩色图：GRAY=R0.3+G0.59+B*0.11

3、存储格式：

BMP：采用位映射存储，占用空间大
JPG：最常见的有损压缩，能够将图片压缩到10:1-40:1
GIF：基于LZW算法的连续色调的无损压缩，压缩率在50%
PNG：比较新的图像文件格式，能够提供笔GIF小30%的无损压缩

4、 图像处理：

（1）空间域：

点运算：HE、CLAHE
形态学运算：膨胀、腐蚀
临域运算：卷积、金字塔

（2）频率域：

傅立叶变换
小波变换

5、特征提取方法：

（1）直方图：

ａ：对图片数据/特征分布的一种统计
灰度、颜色，梯度、边缘、形状、纹理，局部特征点、视觉词汇
b：区间
一种数据或特征的代表，需要预定义或者基于数据学习
C:直方图均衡化：
利用图像直方图对对比图进行调整
通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相接近时，均衡化后，亮度可以更好地在直方图上分布
实际上是对图像进行非线性拉伸，重新分配各个灰度单位中的像素点数量，使得一定灰度范围内像素点的数量的值大致相同
经典算法对整幅图像使用相同变化，如果局部过曝，可以使用自适应的直方图均衡：
移动模板在原始图片按规定步长滑动，每次移动后模板区域内做直方图均衡，映射后的结果赋值给模板内区域中所有点，每个点多次赋值，最终取值为多次赋值的均值。

（2）CLAHE

AHE会过度放大图像中相对均匀区域的噪声，CLAHE在直方图修建过程中，图片对比度更自然。
步骤：
a:图像分块，以块为单位
b:先计算直方图，然后修建直方图，最后均衡
c:遍历操作各个图像块，进行块间双线行插值
d:与原图做图层滤色操作（可选）

6、形态学

膨胀：图像中高亮部分进行膨胀，类似于领域扩展
腐蚀：原图的高亮部分被腐蚀，类似于领域被蚕食
开运算：先腐蚀后膨胀，可去掉目标外孤立点
闭运算：先膨胀后运算，可去掉目标内的孔
当有噪声的图像用阈值二值化后，所得到的边界是很不平滑的，物体区域内具有一些错判的孔洞，背景区域内散布着一些小的噪声物体，连续的开和闭运算可以改善。

7、滤波/卷积

功能：平滑、去燥，梯度、锐化， 边缘、显著点、纹理，模式检测
边界填充：获得同尺寸输出的情况下，卷积核越大，补充越多
补充类型：补0（最常用），边界复制，镜像，热复制
平滑均值滤波：存在缺陷，既没有很好地去除噪声，也破坏了图像的细节，使得图片变得模糊
中值滤波：卷积域内的像素值从小到大排序，取中间值作为卷积输出，可以有效去除椒盐噪声
平滑高斯滤波：模拟人眼，关注中心区域，有效去除高斯噪声，有一个高斯矩阵和对应的标准差参数，参数越小关注区域越集中。（高斯金字塔）
2D卷积：可以拆成两个相同ID卷积—列卷积，行卷积
可以减轻计算 2D卷积：KK
21D卷积：2K次计算
梯度Prewitt滤波：水平梯度/垂直边缘
水平方向是梯度的，垂直方向值不变
梯度sobel滤波：水平梯度/垂直边缘
水平方向是梯度的，垂直方向是高斯平滑
适用于垂直边缘或者水平边缘图像
拉普拉斯滤波：二阶微分算子，作用：周边高于（低于）中心点，边缘检测，像素值快速变换的区域。卷积核的和为0
其他滤波：位移滤波，锐化滤波（先把突出找出再减去一个平均）
如何加速卷积：对图片和卷积和进行快速傅里叶变换，得到的结果。进行逆变换。
高斯金字塔：先进行图像平滑，再进行降采样处理。
必须先通过高斯滤波，再进行降采样。
拉普拉斯金字塔：高频信息在卷积和下采样过程中会丢失。保留所有层丢失的高频信息，用于图像恢复。

8、频率域分析——傅立叶变换

一个信号可以由足够多不同频率和幅值的正余弦波组成。
2D傅里叶变换：纵向条纹+横向条纹组合而成。
低通滤波、高频滤波：高频—细节。低频—框架。
拉普拉斯滤波：用于图像恢复。
不足：实际新号多为非平稳信号
解决方法：
（1）STFT（短时傅里叶变换）添加时域信息的方法设置窗格
缺点：窗格大小难设置，窄窗口的时间分辨率高，频率分辨率 低。
（2）小波变化：与STFT思路接近，但小波变换直接把傅里叶变换的基给换了,
把无限长的三角函数换成了有限长的会衰减的小波基。不仅能 够获取频率，还可以定位到时间。
小波函数条件：均值为0，在时域和频域都局部化。
小波变换是将原是信号表示为一组小波基的线性组合，通过忽略其中 不重要的部分，达到数据压缩目的。