数字图像期末复习

绪论

一幅图像可定义为一个二维函数f(x,y)，其中x和y是空间平面坐标，而在任何一对空间坐标(x,y)处的幅值f称为图像在该点的强度或灰度。当x和y的灰度值f是有限的离散数值时，我们称该图像为数字图像。
数字图像是由有限数量的元素组成的，每个元素都有一个特定的位置和幅值。这些元素称为图画元素、图像元素或像素。
一类是输入和输出都是图像；另一类是其输入可能是图像但是输出是从这些图像中提取的属性。

数字图像基础

图像感知和获取

简单的图像形成模型

用f(x,y)的二维函数来表示图像，在空间坐标(x,y)处，f的值或幅度是一个正的标量，其物理意义由图像源决定。
函数f(x,y)可由两个分量来表征：
入射到被观察场景的场景照射总量–入射分量 i(x.y)
场景中物体所反射的光照总量–反射分量 r(x,y)

f(x,y) = i(x,y)r(x,y)
0<i(x,y)<∞
0<r(x,y)<1 # 反射分量限制在0（全吸收）和1（全反射）之间
i(x,y) 取决于照射源
r(x,y)的性质则取决于成像物体的特性

图像的取样和量化

获取图像的目标是从感知的数据中产生数字图像，但是传感器的输出是连续的电压波形，因此需要把连续的感知数据转换为数字形式。这一过程由图像的取样与量化来完成。 数字化坐标值称为取样；数字化幅度值称为量化

数字图像表示

灰度级数典型地取为2的整数次幂，即 L = 2k
有时，由灰度跨越的值域非正式地成为动态范围
我们将图像系统共的动态范围定义为系统中最大可度量的灰度与最小可检测灰度之比
作为一条规则， 上限取决于饱和度，下限取决于噪声
我们定义一幅图像中最高和最低灰度级间的灰度差为对比度
存储数字图像所需的比特数b为 b = M X N X k
当一幅图像有2^k个灰度级，实质上称该图像为“K比特图像”

空间和灰度分辨率

dpi 每英寸点数 Dots Per Inch

• 空间分辨率
  每单位距离先对数和每单位距离点数(像素数)是最通用的度量
• 灰度分辨率
  灰度级中可分辨的最小变化

像素间的一些基本关系

相邻像素

位于坐标（x，y）处像素p有4个水平垂直的相邻像素，其坐标由下式给出：
（x+1，y）（x-1，y）（x，y+1）（x，y-1）
这组像素称为p的4领域，用 N₄（P） 表示，每个像素距（x，y）一个单位距离
同时我们可以得到p的四个对角相邻像素**N_D（P）**的坐标：
（x+1，y+1）（x-1，y+1）（x-1，y+1）（x-1，y-1）
N₈（P）= N₄（P）+N_D（P）

邻接性、连通性、区域和边界

邻接性
令V是用于定义邻接性的灰度值集合，在二值图像中，如果把具有1值的像素归诸于邻接像素，则V={1}。在灰度图像中给，概念是一样的，但是集合V一般包含有更多的元素。例如具有可能的灰度值范围为0到255的邻接像素中，集合V可能是这256个值的任何一个子集。

1. 4领接
   如果q在集合N₄（p）中，则具有V中数值的两个像素p和q是4邻接的。
   如下图所示，q和p是4邻接的：
   
2. 8邻接
   如果q在集合N₈（p）中，则具有V中数值的两个像素p和q是8邻接的。
   如下图所示，q和p是对角邻接的：
   
3. m邻接

(i)q在N4( p )中
(ii)在ND( q )中，且集合N4( p )∩N4（ q ）中没有来自V中数值的元素

连通性
反映两个像素的空间关系。

• 通路
  
• 连通
  连通：通路上的所有像素灰度值满足相似准则，即(xi,yi)与(xi-1,yi-1)邻接
  种类：4-连通，8-连通，m-连通
  
  如果要从像素s到像素t：
  在4连通的条件下：s不能到t，因为中心像素和右下角像素不满足4邻接关系。
  在8连通的条件下：s可以到t
  在m连通的条件下：s可以到t

区域和边界
令S是图像中的一个像素子集。如果S的全部像素之间存在一个通路，则可以说两个像素p和q在S中是连通的。对于S中任何元素p，S中连通到该像素集称为S的连通分量。如果S仅有一个连通分量，则集合S称为连通集。

令R是图像中的一个像素子集。如果R是连通集，则称R为一个区域。在谈区域时，必须制定邻接的类型（4邻接或8邻接）。一个R的边界（也称为边缘或轮廓）是区域中像素的集合。

灰度变换与空间滤波

基础知识

本节讨论的所有图像处理技术都是在空间域进行的，空间域处理可由下式表达：
g(x,y) = T[f(x,y)]
其中f(x,y)是输入图像，g(x,y)是处理后的图像，T是在点(x,y)的邻域上定义的关于f的一种算子

一些基本的灰度变换函数

图像反转

将灰度范围为[0,L-1]的一幅图像进行反转，由下式给出：
s = L-1-r
通过这种方法增加强一幅图像中的暗区域的白色或灰色细节。特别是当黑色面积在尺寸上占主导地位的时候； 作用：增强嵌入于图像暗区的白色或灰色细节。

对数变换

c为常数
作用：用来扩展被压缩的高值图像中的暗像素。不过在很大程度上压缩了图像像素的动态范围。具体应用是缩小傅氏变换的谱范围。

幂次变换

c、r为正常数
有偏移量时：

r大于和小于1有相反的效果。

图像获取，打印和显示的各种装置存在多种幂次规律响应，用来修正这些幂次的过程叫γ校正。

分段线性变换函数

这种方法与前述方法相对，最大的优点是形式可任意组合。缺点是需要更多的用户输入。
最简单的分段线性函数之一是：对比度拉伸，其思想是提高图像处理时灰度分及动态范围。
灰度切割：提高特一范围的灰度值。

直方图处理

灰度级范围为[0,L-1]的数字图像的直方图是离散函数h(r_k)=n_k，其中r_k是第k级灰度值，n_k是图像中灰度为r_k的像素个数，归一化的直方图又p(r_k)=n_k/MN给出，且分量之和应等于1.
设S=T® 0<=r<=L-1
应满足下列条件：
1）在0<=r<=L-1区间内T®为单值单调增加；
2）对于0<=r<=1，有0<=T®<=L-1。
条件1）使灰度级保持从黑到白的次序；
条件2）保证映射变换后的像素灰度值在允许范围内

离散直方图均衡化

设一幅图象的象素总数为n，分L个灰度级。

局部直方图处理

在实际中可以仅对图像的一部分进行增强处理，这时，可以一个像素的邻域内进行计算。
核心在于计算：图像的平均值可以表示图像的平均强度和方差（或标准差）表示平均对比度。


基于局部平均值和方差可以得到一些图像增强技术。

空间滤波

滤波是指接受或拒绝一定的频率分量。譬如通过低频的滤波器称为低通滤波器。

平滑空间滤波器

平滑滤波器用于模糊处理和降低噪声。模糊处理经常用于预处理任务中，例如在（大）目标提取之前去除图像中的一些琐碎洗洁，以及桥接直线或曲线的缝隙。

平滑线性滤波器

包含在模板内像素平均值，也叫均值滤波器（低通）
如：9点平滑

还有加权均值滤波器

统计排序滤波器

一种非线性空间滤波器，其响应是基于图像滤波器所包围区域中像素（灰度）的排序。
常见的如中值滤波器，该滤波器对脉冲噪声特有效：它是将像素邻域内灰度的中值（在中值计算终包括包括原像素值）代替该像素的值。

锐化空间滤波器

锐化的目的是突出图像中细节或被模糊的细节，锐化可用微分来完成，而微分算术的响应强度与图像在该点的突变程度有关。
图像锐化(image sharpening)是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，分为空间域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强

基础

对微分的定义可以有各种表述，这里必须保证如下几点
（1）在平坦段为0
（2）在灰度阶梯或斜坡的起始点处为非0
（3）沿着斜坡面微分值非0
二阶微分也类似：
（1）平坦区为0
（2）在灰度阶梯或斜坡的起始点及中止点处为非0
（3）沿常数斜率的斜坡面的微分0
对于一元函数表达一阶微分：

二阶微分：

结论：
（1）一阶微分产生的边缘宽（如：沿斜坡很长一段非0）；
（2）二阶微分对细节反应强烈如细线、孤立点（斜坡起止点为非0）；
（3）一阶微分对灰度阶跃反应强烈；
（4）二阶微分对灰度阶梯变化产生双响应，在大多数应用中，对图像增强来说，二阶微分化一阶微分好一些。

基于二阶微分的图像增强一拉普拉斯算子

拉普拉斯算子：

在x方向上：

在y方向上：


拉普拉斯算子是强调灰度突变而降低灰度慢变化的区域。
具体办法是：把原图像拉普拉斯图像叠加在一起，这样既能保护拉氏锐化效果，同时又能复原背景信息。

拉氏模板中心轴为负
拉氏模板中心轴为正

基于一阶微分的图像增强一梯度法

实际中往往用梯度模值代替梯度为减少计算量，用下式算近似：

频率域滤波

法国数学家傅立叶提出，任何周期函数都可以表示为不同频率的正弦或余弦的和的形式。
→傅氏级数；对于非周期函数，则用正弦和余弦及加权函数的积分来表示。
→傅氏变换：应用极为广泛，尤其是数字计算和快速算法的发明，在信号处理领域产生了具大变革
一般不大可能建立图像特定分量和其变换之间的直接联系，但可以建立傅氏变换的频率图像中的强度变化模式之间的联系。
例如，低频对应图像的慢变化分量（墙，地板），而高频分量对应着图像中灰度变化联系地方（边缘，噪声）

使用频率域滤波器平滑图像

低通滤波器：

1. 理想滤波器
2. 布特沃斯滤波器
3. 高斯滤波器
   这三种滤波器涵盖了从非常尖锐（理想）的滤波器到非常平滑（高斯）的滤波范围

理想低通滤波器

理想滤波器表明在半径为D₀的圆内，所有频率无衰减通过，而在此圆之外的所有频率则完全被衰减。

但是理想滤波器会导致一个问题：振铃现象
图像处理中，对一幅图像进行滤波处理，若选用的频域滤波器具有陡峭的变化，则会使滤波图像产生“振铃”，所谓“振铃”，就是指输出图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡。
振铃现象产生的本质原因是:

对于辛格函数sinc而言，经过傅里叶变换之后的函数形式为窗函数（理想低通滤波器）形式，用图像表示如：

因此凡具有接近窗函数的滤波器，IFT之后，其空域函数形式多少接近sinc函数。sinc是进行图像滤波的主要因素，两边的余波将对图像产生振铃现象。

巴特沃思低通滤波器

截止频率距原点距离为D₀，截止频率是当D(u,v)=D₀时，H(u,v)从最大值下降到了0.5

一阶巴特沃思无“振铃”，二阶微小,高阶则很显著。
二阶的BLPF是在有效的低通滤波和可接受的振铃特性之间的好的折中。

高斯低通滤波器

D₀截止频率，当D(u,v)=D₀时，滤波器下降到其最大值的0.607处。
无振铃现象，曲线见下图所示：

使用频率域滤波器锐化图像

突出边缘，用高通滤波来处理可从上面讨论中直接取反

理想高通滤波器

巴特沃思高通滤波器

n阶巴特沃思型高通滤波器：

D₀: 截止频率距原点距离。

高斯型高通滤波器

截止频率距原点为的GHPF传函为：

图像复原与重建

图像复原技术的主要目的是以预先确定的目标来改善图像，是客观过程，利用某种光验知识，重建原图像而图像增强是一个主观过程。

图像退化/复原过程的模型

退化过程被建模成一个退化函数H和一个加性噪声项n(x,y)，对一幅输入图像f(x,y)进行处理，产生一幅退化后的图像g(x,y)。图像复原的目的就是获得原始图像的一个估计f(x,y)。

加性嗓声和图像信号强度是不相关的，这类带有噪声的图像g可看成为理想无噪声图像f与噪声n之和
乘性嗓声和图像信号是相关的，往往随图像信号的变化而变化，载送每一个象素信息的载体的变化而产生的噪声受信息本身调制。在某些情况下，如信号变化很小，噪声也不大。为了分析处理方便，常常将乘性噪声近似认为是加性噪声，而且总是假定信号和噪声是互相统计独立。

噪声模型

噪声主要来源于图像的获取和/或传输过程。

噪声的空间和频率特性

假设：噪声独立于空间坐标，并与图像本身无关联
相关性：噪声是否与图像相关
频率特性：噪声在傅立叶域的频率内容
白噪声：当噪声的傅立叶谱是常量，称为白噪声

一些重要噪声的概率密度函数

图片分别代表高斯，瑞丽，伽马，指数，均匀，脉冲噪声。
高斯噪声（亦正态噪声）

瑞利噪声

伽马噪声

指数分布噪声

均匀噪声

脉冲噪声

椒盐噪声也称为脉冲噪声，是图像中经常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素（或是两者皆有）。

周期噪声

在图像获取中来自于电力或机电干扰而产生是空间依赖型噪声。

噪声参数的估计

1. 周期性噪声：通过谱来估计
2. 从传感器的技术说明中可以得到
3. 成像装量：对固体的光照均匀的灰度极成像
4. 当仅有Sensor产生的图像可以利用时，从恒定灰度值的一小部分估计PDF

仅存在噪声时的复原–空间滤波

仅存在噪声时的复原——空间滤波当图像中的退化仅仅是噪声（产生）的时候

当仅存在加性噪声时，可选择空间滤波的方法。

均值滤波器

1. 算数均值滤波器

虽然模糊了结果，但降了噪声
2. 几何均值滤波器

这种处理中丢失的图像细节更少

3. 谐波均值滤波器

4. 逆谐波均值滤波器

统计排序滤波器

空间滤波器，其响应基于滤波器所包围的图像区域中像素点的排序。
1. 中值滤波器

在噪能力好，模糊少，对单极或双极脉冲噪声很有效。
2. 最大值和最小值滤波器

发现最亮点时有用，可除“胡椒”

发现最暗点，可消除“盐”中点滤波器
3. 中点滤波器

对高斯及均匀噪声效果最好。
4. 修正的阿尔法均值滤波器
修正后的阿尔法均值滤波器 去掉内最高灰度值d/2个,去掉内最低灰度值d/2个,其余mn-d个的均值，叫修正的阿尔法均值小组波器。

取0~mn-1，d=0 趋近算术均值，d=(mn-1)/2趋近中值

自适应滤波器

到目前为止，我们所讨论的滤波器都是：一但选定了一种滤波器，就不考虑从一点到另一点图像性能（特征）的变化。
介绍两种滤波器，其行为变化是基于mxn内矩形窗口S_xy内的统计特征，叫自适应滤波器，其性能优于前边所有滤波器性能。
自适应局部降低噪声滤波器

自适应中值滤波器
前述的中值滤波一般可以处理冲激噪声空间密度不大的情况（P_a,P_b<0.2）而自适应中值滤波则可以处理更大概率的冲激噪声，且保持图像细节。
不同之处，S_xy大小可变。
具体如下：
规定符号：
Z_min:S_xy中最小
Z_max:S_xy中最大
Z_med:S_xy中中值
Z_xy:S_xy中中心值
S_max:S_xy允许的最大尺寸

频域滤波削减周期噪声

陷波滤波器

阻止（或通过）事先定义的中心频率邻域内的频率，图形见右图示：
以对称的形式出现，对象任意，形状也任意。

逆滤波

当知道退化函数H后，最简单的复原方法是直接滤波。

原图像估计谱

得到：

如果退化函数很小或是0，则N(u,v)/H(u,v)之比很容易支配估计值。解决方法是限制滤波的频率，接近原点

彩色图像处理

彩色基础

图像中应用彩色主要是因为：（1）简化区分目标；（2）人眼可以辨别几千种颜色色调和亮度，而对灰度辨别仅几十种，进行人工图像分析，彩色图像处理可分为2个主要领域:全彩色、伪彩色。
原则上讲，前面各章的灰度处理方法均可直接用于彩色处理。
彩色可见光：400~700nm
我们可以用3个基本量来描述光源的质量：
radiance（辐射度 辐射通量）：W总能量
luminace（光通量）：可见光
brightness（亮度）：主观描述
人眼的锥状细胞负责彩色传感的，人眼的6~7百万个锥状细胞分三类：
红：65%，
绿：33%，
蓝：2%。
CIE（国际照明委员会）规定了如下三种波为主原色：蓝：435.8nm，绿：546.1nm，红：700nm。
红色，只是一个带，而不是单一一个波长
绿蓝也是一样。
原色相加→二次色
R+B=深红=红+蓝
G+B=青色=绿+蓝
R+G=黄=红+绿
R+G+B可得白色，或一个二次色与其，补色→白光
颜料或着色剂中，原色的定义：
白：减去一种原色， 反射或传输另两种原色。故其原色是：深红、青、黄。而二次色是R、G、B。
通常区分颜色的特征是亮度，色调和饱和度。

1. 亮度（ brightness ）：明亮程度
2. 色调（ hue ）：光波混合中，与主波长相关的属性，指观察的主要颜色。
3. 饱和度（ saturation ）：纯色+白色多少

色调+饱和度→色度（ chroma ），即颜色用色度和亮度来表征。
形成任何特殊颜色需要R，G，B，叫三色值，分别用X，Y，Z，表示。
一种颜色由三色值系数定义：

颜色的另一种表示方法用CIE色度图。该图以红、绿函数表示颜色组成。
图中边界上的颜色为纯色，内部的表示混和色。等能量点→白，等能量点的饱和度为0。
规律：连接任意两点的直线所定义的不同颜色，均可由这两类颜色相加得到同样，从等能量点到边界上任一点的连线，可以定义特定谱色的所有色调。还可以扩展到三种颜色，图中任何三点连成一三角形，内部所有颜色均可用三个顶点色来混合形成。

彩色模型

亦彩色空间或彩色系统。最通用的就是RGB模型（用于如摄像机等）。
CMY（青，深红，黄）、CMYK（青，深红，黄，黑）是针对彩色打印机，而HIS（色调，饱和度，亮度）更符合人描述颜色，也适合本书给出的灰度处理技术。

RGB彩色模型

为方便，假定所有颜色都归一化。如果每一分量用8比特表示，共有24 称为全彩色。

CMY和CMYK模型

等量的青，深红，黄产生黑色。而实际中，组合产生的黑色不纯，为产生真正的黑色，加入第四种颜色——黑色。即CMYK模型

HIS彩色模型

上述模型中适应人眼。这里介绍的HIS彩色模型恰好能满足这个要求。

• H：色调
  描述一种纯色的颜色属性
• S：饱和度
  是一种纯色被白光稀释的程度的度量
• I：亮度
• H+S表示了彩色信息。
  下面说明HSI可以从RGB信息中得来的。
  在图中，白（1，1，1），黑（0，0，0），其连线是垂直的。经过一彩色点，作⊥该连线的平面，则该平面与垂直连线的交点位置即是强度值。强度轴上的饱和度是0，其上全部是灰度点
  连接白、青、黑三点组成一平面，则该平面（三角形）点有相的色调，理由是：三角形内任一点的颜色均为由顶点来得出，而黑白点不改变色调。旋转这个平面可以得到不同的色调，该平面与立方体的横截面决定的边界不是呈三角形就是六边形。这样我们可以用六边形来表示色调和饱和度。具体参见下页图所示：
  
  用六边形来表示色调和饱和度。
  
  从RGB到HIS的彩色转换
  
  从HIS到RGB的转换
  在[0，1]内给出HSI→RGB分三个区域（相隔120°）
  
  
  

伪彩色处理

给特定的灰度值赋以彩色。伪彩色的目的是为了人眼观察和解释图像中的目标。

强度分层

可以简单地按如下方式来把灰度→彩色

灰度级到彩色转换

另一种更加通用的灰度级到彩色的转换是对输入灰度级进行3个独立的处理，得到3个结果→红，绿，蓝通道

全彩色图像处理基础

全彩色图像处理分为
（1）处理每一分量，然后合成
（2）直接对彩色处理
全彩色至少有3个分量。
原则上前边的灰度处理可移植到彩色，而对每一分量进行处理。
令c代表RGＢ彩色空间中的任意向量：

彩色变换

公式

RGB分量图及HSI分量图。
假设要改变图像亮度，在HSI空间中，
令 S₃=kr₃
而S₁=r₁,S₂=r₂即可
在RGB空间中，
S_i=kr_i
CMY空间中，S_i=kr_i+（1-k）

补色

彩色环上，与一种色调相对立的另一种色调称为补色。

彩色分层

可以采用突出特殊区域的颜色来把目标分离出来。可以采用类似于前边的灰度分层技术，这里叫彩色分层。 最简单的情况，假设感兴趣的颜色中心在（a₁,a₂…a_n），宽度为W的立方体中，则:

如果用一圈球确定感兴趣的颜色

色调和彩色校正

背景：在图像形成、传输、显示过程中，存在非线性，可能造成颜色的不平衡，如CRT显示，扫描仪。通过变换（彩色校正）来达到一定的平衡。这里我们介绍另外一种常用的彩色模型。

其中，X_w,Y_w,Z_w是参考白色的三刺激值（在D65下，完美漫反射白色）
所谓三刺激值是形成某种颜色所需要的原色的数量。
这种彩色模型特点：比色的（感觉相同，编码相同），感觉一致的，独立于设备的。
在图像操作（色调和对比度编辑）和图像压缩方面很有用。
颜色类的变换主要有：
（1）灰度变换
（2）彩色平衡

第一种情况是对比度的拉伸，暗的更暗了，亮得更亮了，增加了对比度，之后类似，上拉都是变亮，下拉都是变暗。

1. 黑色较重
2. 黑色较弱
3. 青色较重
4. 青色较弱
5. 深红色较重
6. 深红色较弱
7. 黄色较重
8. 黄色较弱

直方图处理

将前边灰度直方图处理方法移植到彩色图像处理中，如直方图均衡。

平滑和尖锐化

彩色图像的平滑

例如，在RGB彩色空间中，令S_xy表示中心在(x,y)的邻域的坐标集，在该邻域中，RGB分量的平均值：

彩色图像的尖锐化

本节考虑用拉普拉斯的方法进行尖锐化，在RGB彩色系统中，向量C的拉氐变换：

彩色分割

HSI彩色空间分割

RGB向量空间的分割

假如，某目标在RGB图像中，“平均”彩色估计用向量a来表示，此时，用欧氏距离来进行判定。令z代表RGB空间的一点欧氏距离

把上式推广，得到距离测度

彩色边缘检测

令r,g,b是RGB彩色空间沿R，G，B轴的单位向量，可定义：

图像压缩

图像压缩就是解决这样的问题：减少表示数字图像时需要的数据量

基础

数据压缩：减少表示给定信息量所需的数据。
同一件事情可以有不同的描述版本，至少一个可能包含是不必要的数据。
数据冗余是图像压缩的主要问题，例如：表示一个相同信息的两个数据集合中，携载的信息的单元数量分别为n₁、n₂
相对数据冗余R_D

三种基本数据冗余

• 编码冗余
• 像素间冗余
• 心理视觉冗余

编码冗余

利用直方图的原理，减少数据量。
设直方图、灰度都归一化到[0,T]

表示r_k的比特数为l(r_k)，则每像素所需平均比特为：

在M X N图像，编码所需比特数MN Lavg，用m比特二进制编码，则表示灰度的可减少到m如8位。

一般用二进制编码时，冗余总存在。总之，利用少比待，表示出现概率大的灰度数，实现数据压缩，亦叫变长编码。

像素间冗余

像素间冗余是一种与像素间相关性有直接联系的数据冗余。
对于一张静态图片，存在空间冗余（几何冗余），这是由于在一张图片中单个像素对图像的视觉贡献常常是冗余的，可借助其相邻像素的灰度值进行推断。
对于连续图片或视频，还会存在时间冗余（帧间冗余），大部分相邻图片间的对应点像素都是缓慢过度的。

说明：像素间存在相关性（尤其是相邻像素），任何给定像素可据其相邻像素，适当的预测而得，因此，单个像素所携载信息相对较少。
像素间冗余：
空间冗余
几何冗余
帧间冗余

心理视觉冗余

心理视觉冗余与实在的视觉信息相关，它是因人而异的，不同的人对于同一张照片产生的心理视觉冗余是不同的。去除心理视觉冗余数据必然导致定量信息的损失，并且该视觉信息损失是不可逆转的操作。就好比一张图像（无法放大）比较小时，人眼是无法直接判断出其分辨率，为了压缩图像的数据量，可以去除一些人眼无法直接观察出的信息，但当其放大时，没有去除心理视觉冗余的图像将和去除心理视觉冗余的图像产生明显差别。
IGS量化方法：为减少颗粒状纹路用相邻像素灰度的低位产生—随机数，加到当前像素

保真度准则

评估的两类准则：（1）客观；（2）主观
客观： 表示解压缩图像

图像信息的度量

一个具有概率P(E)的随机事件E可以被说成是包含
I(E)=-log₂P(E)单位的信息，如果P(E)=1，I(E)=0,并且认为它没有信息，因为相关事件没有不确定性所以在事件发生的通信中不会传递任何信息。
对数的底决定了度量信息所用的单位。如果使用以m为底的对数，则这种度量称为m元单位。如果底选择为2，则信息的单位是比特。注意如果p(E)=1/2,那么那么I(E)为1比特，也就是说出现两个概率相等的事件之一发生时，传达的信息量是1比特。一个简单的例子就是投掷一枚硬币及传递的结果。
则每个人信源输出的平均嘻嘻称为该信源的熵，即

如果将一幅图考虑成一个虚构的零记忆“灰度信源”的输出，我们可以通过观察直方图来估计该信源的符号概率。这时，灰度信源的熵变即把P(a_j)替换成p(r_k)
香农第一定理/无噪声编码定理
当信道和通信系统中不存在噪声时，香农第一定理定义了每个信源符号的最小平均码表。
概念：零记忆信源；一个具有有限集合（A，Z）和在统计上独立的符号源的信息源。

图像压缩模型

用一整长为l(a_i)的码为a_i进行编码

码字为超出 自信息的最小整数。可导出：（平均值）

L’avg表示对应于非扩充信源的n次扩充编码的平均字长
得到最终的香农第一定理

即有lim[L_avg,n/n] =H 当n趋近正无穷
信源编码

图中信源编码目的是消除输入冗余，信道编码是增强信源编码器抗噪性。

信道编码
向信源编码数据中插入冗余数据，减少信道噪声的影响。
最有用的信道编码技术是，R. W. Hamming
思想：向被编码数据中加入足够位数，以确保有效的码字间变化的位数最少。如：将3位冗余码加到4位码上，使得任意2个有效码字间距离为3，则1位错误可检出来

一些基本的压缩方法

霍夫曼编码

霍夫曼编码是一种无损的统计编码方法，利用信息符号概率分布特性来改编字长进行编码。适用于多元独立信源。霍夫曼编码对于出现概率大的信息符号用字长小的符号表示，对于出现概率小的信息用字长大的符号代替。如果码字长严格按照所对应符号出现的概率大小逆序排列，则编码结果的平均字长一定小于其他排列形式。

算术编码

与变长编码不同，算术编码生成的非块码。
在信源符号和码字之间不存在一一对应的关系。它是给整个信源符号序列分配一个单一的算术码字，该码字定义了一个介于0~1之间的实数间隔。

在编码中，只有加法和移位，因而得名。上边用3位有效数字的十进制数表示了5个符号序列，相当于每个信源符号0.6个十进制数（信源熵0.58十进制位/符号），很接近信源熵，但有两个因素会影响编码性能而达不到极限：
①为了分开各个符号序列，需另加上序列结束标志
②算术操作精度有限

行程编码

RLE（Run Length Encoding）行程长度压缩算法（也称游程长度压缩算法），是最早出现、也是最简单的无损数据压缩算法。RLE算法的基本思路是把数据按照线性序列分成两种情况：一种是连续的重复数据块，另一种是连续的不重复数据块。对于第一种情况，对连续的重复数据块进行压缩，压缩方法就是用一个表示块数的属性加上一个数据块代表原来连续的若干块数据。对于第二种情况，RLE算法有两种处理方法，一种处理方法是用和第一种情况一样的方法处理连续的不重复数据块，仅仅是表示块数的属性总是1；另一种处理方法是不对数据进行任何处理，直接将原始数据作为压缩后的数据。
令符号aj代表长为j的一个黑色游程，可按公式计算黑色游程源的熵的估计Hb，同理为→Hw
这样，图像的游程熵近似为：

Lb、Lw分别代表黑色和白色游程长度的平均值。
用上式估计每个像来所需的平均化特数。

块变换编码

定义：该技术把图像分成大小相等且不重叠的小块，并使用二维变换单独地处理这些块。在块变换编码中，用一种可逆线性变换把每个块或自图像映射为变换系数集合，然后，对于这些变换系数进行量化和编码。

形态学图像处理

腐蚀和膨胀

腐蚀

对z中集合A、B，B对A腐蚀


腐蚀缩小了或细化了二值图像中的物体。事实上，我们可以将腐蚀看作是形态学滤波操作，这种操作将小于结构元的图像细节从图像中滤除了

膨胀

A、B是z2中的集合，A被B膨胀定义：

对偶性

变换下式子就行

开操作和闭操作

使用结构元素B对集合A进行开操作：

作用：使用对象轮廓平滑，断开狭窄的间断、消除细的凸出物，去除小亮点（相对于结构元素）----“减”

使用结构元素B对集合A进行闭操作：

作用：使轮廓平滑，融联狭窄间断和长细的深沟，消除小孔洞，填补轮廓线的断裂----“加”
总之:
开操作体现“分开”
闭操作体现“联接”

灰度级形态学

扩展到灰度图像的基本操作（膨胀、腐蚀，开操作和闭操作→基本形态学算法）,这些算法在图像预处理和后处理中非常有用。以下讨论设f(x,y)是图像，而b(x,y)是结构元素。

膨胀

用b对f进行的灰度膨胀表示为：

Df为f定义域 Db为b的定义域
（s-x）和（t-y）必须在f定义域内，以及x,y∈Db与以前的膨胀定义很相似的。（2个集合交集不为空） 上式与卷积又很相似。

对灰度图像进行膨胀，结果是双重的：
（1）如果所有元素为正，输出图像变亮
（2）暗的细节全部或部分被减少或消除取决于结构元素

腐蚀

同样与前边的腐蚀定义相类似，表达式有点类似于相关 一维情况：

s>0，f(s+x)向左移 s<0，f(s+x)向右移

对灰度图像进行腐蚀也是双重的：
（1）如果所有结构元素为正，输出图像变暗
（2）在输入图像中，亮的细节的面积，比结构元素面积小，则亮的将被消弱。
消弱程度取决于亮细节周围的灰度值和结构元素本身。

开操作和闭操作

图像分割

分割是将图像细分成一个个子区域或对像的过程，比如：电子（路）元件的自动检测，断线检测等等。
精确的分割往往决定着计算分析过程的成败，系统设计时，如果能对检测环境加以控制，则应优先采用这种主动控制环境的方法，如果难以控制，则可考虑选择合适的传感器类型，如军事上的红外传感器。
图像分割算法一般基于亮度值的两个基本特性：
①不连续性：边缘边界
②相似性：门限处理，区域生长

点、线和边缘检测

一阶导数=f(x+1)-f(x)
二阶导数=f(x+1)+f(x-1)-2f(x)

1. 一阶导数通常在图像中产生较粗得边缘；
2. 二阶导数对精细细节，如细线、孤立点和噪声有较强的响应；
3. 二阶导数在灰度斜坡和灰度台阶过渡处会产生双边缘响应；
4. 二阶导数的符号可以用于确定边缘的过渡是从亮到暗还是从暗到亮

孤立点的检测

孤立点的检测：|R|>=T
和为0，故常数区域模板响应为0

线检测

这四个线检测模板是有方向的，分别代表水平方向，正45°方向，垂直方向，负45°方向

边缘模型

一阶导数：检测边缘点
二阶导数：判断边缘像素在边缘亮的一边，还是暗的一边
有噪声的边缘附近一阶和二阶导数性质:

阈值处理

基础知识

灰度阈值处理基础

第一类称为对象点，第二类称为背景点，该公式称为全局阈值处理。而当T值在一幅图像上改变时，我们可以使用可变阈值处理技术或者可以乘坐局部阈值处理或区域阈值处理。
光照和反射的作用

基本的全局阈值处理

自动门限的获得：
①选一个T的初值
②用T分割图像，分成了两类像素

③对区域G1, G2计算平均灰度
④新门限

⑤重复②—④，直至T值变化小于T。

用Otsu方法的最佳全局阈值处理

OTSU算法也称最大类间差法，有时也称之为大津算法，由大津于1979年提出，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。

该算法主要包括一下几个步骤：

先计算图像的直方图，即将图像所有的像素点按照0_{255共256个bin，统计落在每个bin的像素点数量，这个很简单啦}
归一化直方图，也即将每个bin中像素点数量除以总的像素点，使其限制在0~1之间
在这里设置一个分类的阈值ii，也即一个灰度级，开始从0迭代
通过归一化的直方图，统计0~i 灰度级的像素(假设像素值在此范围的像素叫做前景像素) 所占整幅图像的比例w0w0，并统计前景像素的平均灰度u0u0；统计i~255灰度级的像素(假设像素值在此范围的像素叫做背景像素) 所占整幅图像的比例w1w1，并统计背景像素的平均灰度u1u1；在这里，设图像的总平均灰度为u2u2，类间方差记为gg。

其中：
u₂=ω₀∗u₀+ω₁∗u₁
g=ω₀(u₀−μ₂)²+ω₁(u₁−u₂)²
将u₂带入gg中，可得：

g=ω₀ω₁(u₀−u₁)^2
++ii,阈值的灰度值加1，并转到第4个步骤，直到i为256时结束迭代