目录
图片存储原理
主流颜色空间
1.RGB三通道彩色图：图片→3维矩阵（[0,255]）
2.单通道灰度图：亮度信息（[0,255]） Gray=R*0.3+G*0.59+B*0.11
RGB图片数据格式
三维矩阵
o 常见的存储的格式有：bmp, jpg, png, tiff, gif, pcx, tga, exif, fpx, svg, psd, cdr, pcd, dxf, ufo, eps, ai, raw, WMF, webp等
o BMP：采用位映射存储格式，不采用其他任何压缩，所占用的空间很大。
o JPG：最常见的有损压缩格式，能够将图像压缩到很小的空间，压缩比可达10:1到40:1之间。
o GIF：基于LZW算法的连续色调的无损压缩格式，其压缩率一般在50%左右。
o PNG：是比较新的图像文件格式，能够提供长度比GIF小30%的无损压缩图像文件。
图像增强的目标
改善图像的视觉效果
转换为更适合于人或机器分析处理的形式
突出对人或机器分析有意义的信息
抑制无用信息，提高图像的使用价值
具体的说：包括图像锐化，平滑、去噪，灰度调整（对比度增强）
图像处理方法
特征提取方法
直方图（Histogram）
对图片数据/特征分布的一种统计
• 灰度、颜色
• 梯度/边缘、形状、纹理
• 局部特征点、视觉词汇
区间（bin）
• 具有一定的统计或物理意义
• 一种数据或特征的代表
• 需要预定义或基于数据进行学习
• 数值是一种统计量：概率、频数、特定积累
对数据空间（bin）进行量化
直方图均衡化
直方图均衡化是指：利用图像直方图对对比度进行调整的方法。
直方图均衡化通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候。
直方图均衡化以后，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
直方图均衡化：实质上是对图像进行非线性拉伸
重新分配各个灰度单位中的像素点数量，使一定灰度范围像素点数量的值大致相等。
自适应直方图均衡
直方图均衡的经典算法对整幅图像的像素使用相同的变换，如果图像中包括明显亮的或者暗的区域，则经典算法作用有限。
自适应直方图均衡（AHE）算法通过对局部区域进行直方图均衡，来解决上述问题。
·移动模板在原始图片上按特定步长滑动；
·每次移动后，模板区域内做直方图均衡，映射后的结果赋值给模板区域内所有点，
·每个点会有多次赋值，最终的取值为这些赋值的均值。
CLAHE
AHE会过度放大图像中相对均匀区域的噪音，可采用限制对比度自适应直方图均衡(CLAHE) 。
与普通的自适应直方图均衡相比，CLAHE的不同地方在于直方图修剪过程，用修剪后的直方图均衡图像时，图像对比度会更自然。
小黑点的灰度直接由映射函数计算得到；
粉色区域内点的灰度由映射函数计算而得；
绿色区域内点的灰度由由相邻2块灰度映射值线性插值而得；
其他区域所有点的灰度由相邻4块的灰度映射值双线性插值而得。
算法步骤
1.图像分块，以块为单位；
2.先计算直方图，然后修剪直方图，最后均衡；
3.遍历操作各个图像块，进行块间双线性插值；
4.与原图做图层滤色混合操作。（可选）
形态学运算
膨胀是图像中的高亮部分进行膨胀，类似于领域扩张。
腐蚀是原图的高亮部分被腐蚀，类似于领域被蚕食。
开运算：先腐蚀再膨胀，可以去掉目标外的孤立点。
闭运算：先膨胀再腐蚀，可以去掉目标内的孔。
通常，当有噪声的图像用阈值二值化后，所得到的边界是很不平滑的，物体区域具有一些错判的孔洞，背景区域散布着一些小的噪声物体，连续的开和闭运算可以显著的改善这种情况。
空域分析及变换
滤波/卷积
•在每个图片位置（x, y）上进行基于邻域的函数计算
滤波函数→权重相加
卷积核、卷积模板 滤波结果
滤波器、滤波模板
扫描窗
•不同功能需要定义不同的函数
平滑/去燥
梯度/锐化
边缘、显著点、纹理
模式检测
• 参数解释
x, y是像素在图片中的位置/坐标
k, l是卷积核中的位置/坐标
中心点的坐标是（0,0）
• f[k, l]是卷积核中在（k, l）上的权重参数
• I[x+k, y+l]是与f[k, l]相对应的图片像素值
• h[x, y]是图片中(x, y)像素的滤波/卷积结果
• 边界填充（Padding）
获得同尺寸输出的情况下
卷积核越大，补充越多
• 补充类型
补零（zero-padding）
边界复制（replication）
镜像（reflection）
块复制（wraparound）
边界填充策略
均值滤波
平滑均值滤波
均值滤波本身存在缺陷，既没有很好地去除噪声点，也破坏了图像的细节反而使图像变得模糊。
平滑中值滤波/卷积
奇数尺寸
• 3x3，5x5，7x7，2n-1 x 2n-1
操作原理
• 卷积域内的像素值从小到大排序
• 取中间值作为卷积输出
有效去除椒盐噪声
将领域矩阵中的N个像素进行排序，并将这个矩阵的中心点赋值为这N个像素的中值。
平滑高斯滤波/卷积
奇数尺寸
• 3x3，5x5，7x7，2n-1 x 2n-1
模拟人眼，关注中心区域
有效去除高斯噪声
参数
• x, y是卷积参数坐标
• 标准差
梯度Prewitt滤波/卷积
梯度Sobel滤波/卷积
梯度Laplacian滤波/卷积
Laplacian滤波锐化
其他滤波/卷积
频域分析及变换
如何让卷积更快：空域卷积=频域乘积
高斯金字塔
• 图像金字塔化：先进行图像平滑，再进行降采样，
• 根据降采样率，得到一系列尺寸逐渐减小的图像。
• 操作：n次（高斯卷积2倍降采样）n层金字塔
• 目的：捕捉不同尺寸的物体
高斯金字塔本质上为信号的多尺度表示法
拉普拉斯金字塔
拉普拉斯金字塔（Laplacian）
• 高频细节信息在卷积和下采样中丢失
• 保留所有层所丢失的高频信息，用于图像恢复
高斯金字塔与拉普拉斯金字塔
频率域分析——傅里叶变换
傅里叶变换的数学
欧拉公式描述的是一个随着时间变化，在复平面上做圆周运动的点；傅里叶变换描述的就是一系列这样的点的运动叠加的效应。
离散傅里叶变换
傅里叶变换的不足
关键问题——傅里叶变换假设前提为信号平稳，但实际中信号多数为非平稳信号。
缺乏时间和频率的定位功能
对于非平稳信号的局限性
在时间和频率分辨率上的局限性
短时傅里叶变换
STFT（短时傅里叶变换）添加时域信息的方法是设置窗格，认为窗格内的信号是平稳的；
然后对窗格内的信号分段进行傅里叶变换。
优点是可以获得频域信息的同时可以获得时域信息。
缺点是窗格大小很难设置。
短时傅里叶变换的特点
窄窗口时间分辨率高、频率分辨率低；宽窗口时间分辨率低，频率分辨率高。
对于时变的非稳态信号，高频适合小窗口，低频适合大窗口。
可是STFT的窗口是固定的……
小波变换
小波变换与STFT思路接近，但小波变换直接把傅里叶变换的基给换了——将无限长的三角函数基换成了有限长的会衰减的小波基。
这样不仅能够获取频率，还可以定位到时间。
所谓“小波函数”是一族函数，需要满足
1.均值为0；
2.在时域和频域都局部化（不蔓延到整个坐标轴）
满足这两条的函数就是小波（Wavelet）函数，有很多种类，最简单的是Haar小波 。
小波变换要做的就是将原始信号表示为一组小波基的线性组合，然后通过忽略其中不重要的部分达到数据压缩（即降维）的目的。
常用的小波函数
Haar系列，Daubechies系列，Moret系列
Sym系列，Meyer系列，Coif系列
867
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
