7/14数字图像处理笔记

补充

高频分量和低频分量

图像中的低频信号和高频信号也叫做低频分量和高频分量。
简单一点说，图像中的高频分量，指的是图像强度（亮度/灰度）变化剧烈的地方，也就是我们常说的边缘（轮廓）；图像中的低频分量，指的是图像强度（亮度/灰度）变换平缓的地方，也就是大片色块的地方。
人眼对图像中的高频信号更为敏感。

锐化，钝化（平滑）

图像锐化(image sharpening)是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰的方法，这种方法提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强。
与图像锐化相反，图像钝化（image blur）抑制图像中的跳变部分，使图像变得更平滑。

图像复原与重建

图像增强是一个主观过程，图像复原大部分是客观过程。
图像复原技术的目的：以预先确定的目标来改善图像；图像复原试图利用退化现象的某种先验知识来复原被退化的图像，因而，复原技术是面向退化模型的，并且采用相反的过程进行处理，以便恢复出原图像。

图像退化/复原过程模型

退化过程：一个退化函数和一个加性噪声项。

噪声知识补充

什么是图像噪声？
噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般，噪声信号与要研究的对象不相关，它以无用的信息形式出现，扰乱图像的可观测信息。通俗的说就是噪声让图像不清楚。
噪声来源—两个方面
（1）图像获取过程中
两种常用类型的图像传感器CCD和CMOS采集图像过程中，由于受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声。
（2）图像信号传输过程中
由于传输介质和记录设备等的不完善，数字图像在其传输记录过程中往往会受到多种噪声的污染。另外，在图像处理的某些环节当输入的对象并不如预想时也会在结果图像中引入噪声。

噪声模型

1.噪声来源于U型的获取/传输过程
2.频率特性是指傅里叶域中噪声的频率内容。当噪声的傅里叶谱是常量时，噪声通常称为白噪声。
3.假设噪声独立于空间坐标，且于图像本身不相关

重要的噪声概率密度函数

高斯噪声
高斯噪声在数学上的易处理性使其在实践中常用（正态噪声模型）

瑞利噪声

瑞利密度对近似歪斜的直方图适用
爱尔兰（伽马）噪声

指数噪声

均匀噪声

脉冲噪声（椒盐）

与图像信号的强度相比，脉冲污染通常较大

周期噪声

周期噪声是在图像获取期间由电力或机电干扰产生的，一种空间相关噪声，可通过频率域滤波显著减少

噪声参数的估计

通过检测图像的傅里叶谱来估计，对于很简单的周期噪声，还可以直接由图像推断出噪声分量的周期性
可由合理灰度值的一小部分估计PDF的参数

对于直方图形状不是高斯 但类似于高斯的其他形状，使用方差和均值解出a，b

只存在噪声的复原——空间滤波

当一幅图像中唯一存在的退化是噪声时，噪声项是未知的
在周期噪声的情况下，可以由G(v)的谱估计N(u,v)，从G(u,v)中减去N(u,v)即可得到原图像的一个估计，但不常用。仅存在加性噪声的情况下，可以使用空间滤波方法

均值滤波器

算术均值滤波器

几何均值滤波器

谐波均值滤波器

逆谐波均值滤波器

算术均值滤波器和几何均值滤波器更适合处理高斯或均匀随机噪声。
逆谐波均值滤波器更适合处理脉冲噪声，但必须知道噪声是暗噪声还是亮噪声，以便为Q选择正确符号。

统计排序滤波器

一种空间域滤波器，其响应基于由该滤波器包围的图像的区域中的像素值得顺序
中值滤波器

最大值和最小值滤波器

中点滤波器

修正的阿尔法均值滤波器

自适应滤波器
滤波器的特性变化以mxn的矩形窗口Sxy定义的滤波器区域内图像的统计特性为基础，自适应滤波器的性能优于以上所有滤波器的性能，但代价是复杂度提高
自适应局部降低噪声滤波器
效果与算术和几何均值滤波器相似，但能得到更清晰的图片

自适应中值滤波器
可处理具有更大概率的脉冲噪声，平滑非脉冲噪声时试图保留细节，是传统中值滤波器做不到的
进行滤波处理是会根据某些条件改变矩形窗口区域的尺寸

用频率域滤波消除周期噪声

用一个选择性滤波器（带阻、带通、陷波）分离出噪声
带阻滤波器
在频率域噪声分量的一般位置近似已知的应用中消除噪声

带通滤波器
执行与带阻滤波器相反的操作，可提取噪声模式，屏蔽选中频段导致的效果

陷波滤波器
阻止或通过事先定义的中心频率的邻域内的频率
由于傅里叶变换的对称性，为了获得有效的结果，必须以原点对称的形式出现

最佳陷波滤波
当存在几种干扰分量时，前面的方法在滤波过程中可能会消除太多图像信息。
最小化了复原的估计值fˆ(x,y)的局部方差。
屏蔽干扰的主要成分，从被污染的图像中减去该模式的一个可变的加权部分。

线性、位置不变的退化

具有加性噪声的线性空间不变退化系统，可在空间域建模为退化函数与一幅图像的卷积再加上噪声
基于卷积定理，频率域中，同样的过程可表示为图像和退化函数的变换的乘积，再加上噪声的变换
许多类型的退化可近似为线性、位置不变的过程，这种方法的优点是可使用许多线性系统理论的工具解决图像复原问题
由于退化被建模为卷积的结果，且图像复原试图找到应用相反过程的滤波器，所以用去卷积表示线性图像复原，用于复原处理的滤波器称为去卷积滤波器

估计退化函数

使用以某种方式估计的退化函数来复原一幅图像的过程称为盲目去卷积，因为真正的退化函数很少能完全知晓
观察估计法
从图像本身收集信息
试验估计法
通过各种系统设置的大与退化图像类似的图像，知道这些图像退化到尽可能接近希望复原的程度
数学建模法
退化建模或从基本原理开始推导一个数学模型

逆滤波

退化函数已给出，最简单的复原方法是直接做逆滤波
用退化函数除退化图像的傅里叶变换G来计算原始图像傅里叶变换的估计


上式克制，即使知道退化函数也不能准确的复原未退化的图像，因为N未知；如果退化函数是0或者非常小的值，则N与H之比很容易支配估计值
解决退化函数为0或者非常小的值的问题的方法是限制滤波的频率，使其接近原点

最小均方误差（维纳）滤波

综合了退化函数和噪声统计特征进行复原处理，目标是找到未污染图像f的一个估计，使它们之间的均方误差最小
维纳滤波比直接逆滤波得到的效果更接近原图

约束最小二乘方滤波

维纳滤波存在的困难：未退化图像和噪声的功率谱必须是已知的，然而功率谱比的常熟估计并不总是一个合适的解
期望是找一个最小准则函数C

满足约束

几何均值滤波

对维纳滤波器稍加推广，α\alphaα=1时，退化为逆滤波器

彩色图像处理

彩色基础

彩色图像处理可分为：
全彩色处理：数码相机、数码摄像机、彩色扫描仪
伪彩色处理：对不同的灰度或灰度范围赋予不同的颜色
描述彩色光的3个基本量：
辐射率：从光源流出能量的总量，用瓦特(W) 度量
光强：观察者从光源接收的能量总和
亮度：主观描绘子
三原色 ：红色（Red）、绿色（Green）、蓝色（Blue）

彩色模型

RGB 彩色模型:CCD技术直接感知R,G,B三个分量是图像成像、显示、打印等设备的基础
CMY(青、深红、黄)、CMYK (青、深红、 黄、黑）彩色模型:
运用在大多数在纸上沉积彩色颜料的设备， 如彩色打印机和复印机
CMYK:打印中的主要颜色是黑色\等量的CMY原色产生黑色，但不纯\在CMY基础上，加入黑色，形成CMYK彩色空间。
HSI(色调、饱和度、亮度）彩色模型：分量与图像的彩色信息无关，H和S分量与人感受颜色的方式是紧密相连的。

伪彩色图像处理

强度分层技术：强度分层技术和彩色编码是伪彩色图像处理最简单的例子之一。如果一幅图像被描述为三维函数，分层方法可看成是放置一些平行于图像坐标面的平面，然后每一个平面在相交的区域中切割图像函数。但是灰度被分为几个区间，且每个区域赋予了不同的颜色，而未考虑到图像中灰度级的意义。在这种情况下，感兴趣的知识简单地观察构成图像的不同灰度级。当灰度级细分基于图像的物理特性时，强度分层就会有很大意义并起重要意义。
灰度级到彩色的转换：对任何输入像素的灰度级执行3个独立变换；3个变换结果分别送入彩色监视器的红、绿、 蓝三个通道；产生一幅合成图像

全彩色图像处理基础

全彩色图像处理研究分为两大类：
分别处理每一分量图像，然后，合成彩色图像；
直接对彩色像素处理：3个颜色分量表示像素向量。令c代表RGB彩色空间中的任意向量

彩色变换

彩色变换函数


补色：在如图所示的彩色环上，与一种色调直接相对立的另一种色调称为补色。
作用：增强嵌在彩色图像暗区的细节

彩色图像平滑

令Sxy表示在RGB彩色图像中定义一个中心在(x,y) 的邻域的坐标集，在该邻域中RGB分量的平均值为

彩色图像锐化（拉普拉斯微分）

RGB彩色空间，分别计算每一分量图像的拉普拉斯变换

基于彩色的图像分割

HSI彩色空间分割（直观）：H色调图像方便描述彩色、S饱和度图像做模板分离感兴趣的特征区、强度图像不携带彩色信息
RGB彩色空间分割：令z代表RGB空间中的任意一点，a是分割颜色样本集的平均颜色向量。
D0是距离阈值
如果D(z,a)≤D0,则z和a相似，
如果D(z,a)＞D0,则z和a不相似。

小波和多分辨率处理

小波变换：小波做的改变就在于，将无限长的三角函数基换成了有限长的会衰减的小波基。

特点：主要特点是通过变换能够充分突出问题某些方面的特征，能对时间（空间）频率的局部化分析，通过伸缩平移运算对信号（函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。
小波的性质:可分离性、尺度可变性、平移性多分辨率的一致性、正交性

背景基础

图像金字塔：是以多分辨率来表示图像的一种结构，结构非常有效，且概念简单。是一系列以金字塔形状排列的、分辨率逐步降低的图像集合。
金字塔底部是待处理图像的高分辨率表示，顶部则包含低分辨率的近似。向金字塔上层移动时，尺寸和分辨率逐步降低。

基础级：大小为2J x 2J 或 N x N
顶点级：大小为1x1（单个像素）
第j级大小为2j x 2j ，0 <= j <= J。
但通常金字塔会截短到P+1级，即将级别限制到P来降低原图像的分辨率近似，也就是说不会到金字塔靠近顶端的位置。第j-1级近似输出用来建立近似值金字塔;作为金字塔基级的原始图像和它的P级减少的分辨率近似都能直接获取并调整；第j级的预测残差输出用于建立预测残差金字塔;近似值和预测残差金字塔都通过迭代计算获得。
金字塔低分辨率级别用于分析较大的结构或图像的整体内容；高分辨率图像适合于分析单个物体的特性。

子带编码

子带：一幅图像被分解为一组频带受限的分量，称为子带。子带可以重组在一起无失真地重建原始图象；每个子带通过对输入进行带通滤波而得到；子带带宽小于原始图像带宽，子带可以进行无信息损失的抽样；原始图象的重建可以通过内插、滤波、和叠加单个子带来完成。
子带编码的目的：选择h0(n)、h1(n)、g0(n)、g1(n)，以便使子带编码和解码系统的输入和输出是相同的，完成这一任务时，可以说最终系统采用了完美重建滤波器。
该系统由两组滤波器组构成，h0(n)和h1(n)是半波段滤波器，它们的理想传递特性为H0和H1，用于将输入序列分成两个半长序列flp(n)和fhp(n)，表示输入的子带。
分解：分析滤波器组，分解就是通过下采样提取图像的低频（近似）和高频（细节）信息。每一层（尺度）的分解都是对上一层分解中的低频信息进行再分解。
重构：综合滤波器组，是通过上采样将分解的低频和高频信息再合并为分解前的图像的近似。

哈尔变换

哈尔变换的基函数是已知的最古老、也是最简单的正交小波。
哈尔变换可用如下矩阵形式表示：

多分辨率展开

图像金字塔、子带编码和哈尔变换，在数学理论多分辨率分析中扮演了重要角色。
在多分辨率分析( MRA )中，尺度函数被用于建立某一函数或图像的一系列近似值，相邻两近似值之间的近似度相差2倍。
称为小波的附加函数用于对相邻近似值之间的差异进行编码。

级数展开

尺度函数

考虑整数平移和实数二值尺度、平方可积函,数φ (x)组成的可展开函数集合

小波函数

满足MRA要求的尺度函数被定义为小波函数ψ(x)，它与其整数平移及二值尺度一起，跨越了任意连个相邻尺度子空间Vj和Vj+1之间的差。

对跨越图中Wj空间的所有k∈Z，定义小波集合{ψj，k(x)}

小波变换

一维小波变换
小波级数展开
与小波ψ(x)和尺度函数φ(x)相关的函数f(x)∈L2®的小波级数展开如下：

j0是任意的开始尺度，cj0(k)和dj(k)分别是尺度函数和小波函数下的展开系数αk的改写形式。cj0(k)称为近似和/或尺度系数，dj(k)称为细节和/小波系数。
离散小波变换
上一小节的小波系数展开将一个连续变量函数映射为一系列系数。若待展开的函数是离散的（即数字序列），则得到的系数就称为离散小波变换（DWT）。
连续小波变换
离散小波变换的自然延伸是连续小波变换（CWT），连续小波变换将一个连续函数变换为两个连续变量（平移和尺度）的高冗余度函数。得到的变换易于解释并且对于时间-频率分析是有价值的。
连续平方可积函数f(x)的连续小波变换与实数值小波ψ(x)的关系定义如下：

快速小波变换
快速小波变换（FWT）是一种实现离散小波变换（DWT）的高效计算。
一维情况
正变换，即分解
先定义尺度函数和小波函数，再计算尺度j的近似和细节系数。
尺度函数：

小波函数:

近似系数和细节系数:

快速小波反变换
反变换，即重构
反变换即综合滤波器，综合滤波器和分析滤波器之间的顺序是相反的。
二维小波变换
在二维情况下，需要一个二维尺度函数φ(x,y)和三个二维小波ψH(x,y)，ψV(x,y)，ψD(x,y)。每个二维小波都是两个一维函数的乘积。排除产生一维结果的乘积，如φ(x)ψ(x)，4个剩下的乘积可产生尺度函数

和可分的“方向敏感”小波

这些小波度量函数的变化——图像的灰度变化——沿不同方向的变化：ψH度量沿列方向的变化（如水平边缘），ψV响应沿行方向的变化（如垂直边缘），ψD度量对应对角线方向的变化。

小波包

快速小波变换将一个函数分解为一系列与对数相关的频段，其中：低频被组成窄频段；高频被组成宽频段。
由于正交小波变换只对信号的低频（近似）信息做进一步分解，而对高频（细节）信息不再继续分解，使得它的频率分辨率随频率升高而降低。所以小波变换能够很好地表征一大类以低频信息为主要成分的信号，但它不能很好地分解和表示包含大量细节信息（细小边缘或纹理）的信号，如非平稳机械振动信号、遥感图象、地震信号和生物医学信号等。与之不同的是，小波包变换可以对高频部分提供更精细的分解，而且这种分解既无冗余，也无疏漏，所以对包含大量中、高频信息的信号能够进行更好的时频局部化分析。

图像的编码与压缩

图像压缩原理：
1.数据压缩的对象是数据，大的数据量并不代表含有大的信息量。
2.图像压缩就是除去图像中多余的数据而对信息没有本质的影响。
3.图像压缩是以图像编码形式实现的，用较少的比特数表示出现概率较大的灰度级，用较多的比特数表示出现概率较小的灰度级，从而使平均码长更接近于信息熵。
图像压缩目的：减少表示数字图像时所需的数据量。减少数据量的基本原理是除去其中多余的数据。从数学角度看，这一过程实际上就是将二维像素矩阵变换为一个在统计上无关联的数据集合。
图像压缩方法分类：
按压缩前及压缩后的信息保持程度分类：信息保持型、信息损失、特征抽取型。
按图像压缩的方法原理可分成四类：像素编码、预测编码、变换编码等。

数据冗余类型

像素相关冗余：与像素间相关性直接联系着的数据冗余
编码冗余：如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余(例如一张黑白照片只需要两个灰度表示，你却采用了8位的编码格式来表示，即造成冗余)
心理视觉冗余:视觉系统并不是对于图像的任何变化都能感知,去除心理视觉冗余数据能导致定量信息的损失，称为量化。
空间冗余：图像中相邻像素间的相关性引起的是空间冗余。空间冗余是图像数据中经常存在的一种数据冗余，是静态图像中存在的最主要的一种数据冗余。同一景物表面上采样点的颜色之间通常存在着空间相关性，相邻各点的取值往往相近或者相同，这就是空间冗余。
图像保真度准则：
客观保真度准则：最常用的客观保真度准则是原图像和解码图之间的均方根误差和均方根信噪比两种。
主观保真度准则：不少于20人对该图像的评分取平均，作为这幅图像的质量。
图像压缩模型：一个图像压缩系统:编码器和解码器。
编码器由一个消除输了冗余的信源编码器和一个用于增强信源编码输出的噪声抗扰性的信道编码器构成。
解码器由一个信源解码器和一个信道解码器构成。
图像压缩标准：
JPEG—— 静态图像压缩标准
JPEG2000——新一代静态 图像压缩标准
适用范围:灰度图像，彩色图像；静止图像的压缩，视频序列帧内图像压缩
JBIG2 是一个针对二级图像压缩的国际标准。 通过将一幅图像分割成正文、 半色调和普通内容的 重叠和或不重叠区域，针对每种类型的内容采用特定的最佳压缩技术。

图像压缩的方法

无损压缩
哈夫曼编码：是一种变长编码：概率小的用长的码子，概率大的用段码子编码，是无损压缩。
在信源数据中出现概率越大的符号，编码以后相应的码长越短；出现概率越小的符号，其码长越长，从而达到用尽可能少的码符表示信源数据。它在无损变长编码方法中是最佳的。
算术编码：将编码的消息表示成实数0和1之间的一个间隔，消息越长，编码表示它的间隔就越小，表示这一间隔所需的二进制位就越多。算术编码用到两个基本的参数：符号的概率和它的编码间隔。信源符号的概率决定压缩编码的效率，也决定编码过程中信源符号的间隔，而这些间隔包含在0到1之间。编码过程中的间隔决定了符号压缩后的输出。
LZW编码： LZW编码是一种处理图像像素间冗余的无误差压缩技术，属于第二类的词典编码，对信源符号的可变长度序列分配固定长度码字，且不需要了解有关被编码符号的出现的概率。LZW编码算法开始时要建立初始词典，此时词典中的项仅为信源可能发出的各种单个字符。其后令当前前缀P为空，当前字符C=字符流中的下一个字符，判断当前前缀加当前字符形成的缀符串P+C是否在词典中，最后判断字符流中是否还有字符要编码。
位平面编码：单独处理图像的位平面也是一种能有效的减少像素间冗余的技术。它是以将一幅多级图像分解为一系列二值图像并通过几种熟知的二值图像压缩方法对每幅二值图像进行压缩的原理为基础的。
行程编码：只考虑了消除行内像素间的相关性，没有考虑其他方向的相关性。
有损与无损压缩的根本差别在于有没有量化器模块。
有损压缩
有损压缩是：通过牺牲图像的准确率来达到增大压缩率的目的，如果容忍解压后的结果中有一定的误差，那么压缩率可以显著提高。
变换编码：在变换编码中，一种可逆线性变换用于将图像映射到变换系数集，然后这些系数被量化和编码。对大多数自然图像，大量系数的量级很小，可以进行不是很精确的量化，几乎不会产生多少图像失真。在变换编码系统中，解码器的执行步骤（除了量化函数以外）与编码器相反。
有损预测编码：有损预测编码中增加一个数字量化器，这个量化器将预测误差映射成有限范围内的输出，表示为en，这个输出确定了与有损预测编码想联系的压缩和失真的量。，它是通过消除紧邻像素在空间和时间上的冗余来实现的，它仅对每个像索中的新信息进行提 取和编码。一个像素的新信息定义为该像素的实际值与预测值之间的差。
基于符号编码：在基于符号或基于记号的编码中， 一幅图像被表示为多幅频繁发生的子图像的一个集合，称为符号。每一个这样的符号都存储在一个符号字典中，且该图像以一个三元组｛（x1，y1, t1),（x2，y2, t2)…｝的集合来编码，其中，每个（xi,yi）对规定了图像中一个符号的位置而记号ti是该符号或子图像在字典中的地址。也就是说，每一个三元组表示图像一个字典符号的一个实例。 通过仅存储一次重复的符号，可以有效地压缩图像遇，特别是在文档存储和检索应用中，在这种情况下，符号通常是重复多次的字符位图。
比特平面编码：基于把一幅多级（单色或影色）图像分解为一系列二值图像，并使用几种制的二值压缩方法之一来压缩每幅二值图像。
块变换编码：把图像分成大小相等（8×8）且不重叠的小块，并使用二维变换单独地处理这些块。 在块变换编码中，用一种可逆线性变换（如傅里叶变换）把每个块或子图像映射为变换系数集合，然后，对这些变换系数进行量化和编码。对于大多数图像，大量系数都有较小的幅度值，并且可被粗糙地量化（或完全抛弃）而几乎没有多少图像失真。
小波编码：对图像的像素解除相关的变换系数进行编码比对原图像像素本身进行编码的效率更高。如果变换的基函数一一此时为小波函数一一将大多数重要的可视信息包装到少量系数中，则剩下的系数可被粗略地盘化或截取为零，而图像几乎没有失真。