图像处理——数字图像处理

摘要

这里将介绍有关于的图像处理的一些基本的概念。同时主要是的参考了的博客的东西。但是后期本人也将添加有关于的自己本人的理解的一些东西。

1. 基本概念

图像是一个二维亮度函数f(x,y),（x,y)定义了空间坐标，f（x,y)该点的亮度或灰度。

数字图像是指图像f(x,y)在空间坐标和亮度的数字化。数字图像是由有有限的元素组成的，每一个元素都有一个特定的位置和幅值，这些元素称为图像元素或像素

2. 关于视觉感知

• 人类的视觉系统能够适应光度级别范围很广，从夜视阈值到强闪光约有量级
• 人类的视觉不可能在整个范围内工作，它是利用改变整个灵敏度来完成大的光度变动，这即所谓的亮度适应现象
• 马赫现象：它是一种主观的边缘对比效应。当观察两块亮度不同的区域时，边界处亮度对比加强，使轮廓表现得特别明显。在下图中，每个条条的光的灰度不变，每个条的灰度值都不一样，在视觉感知中，灰度小（暗）的右边靠近灰度值高的，在灰度小的条的右边看上去变暗，灰度大的左边看上去变亮，但实际上的这整个条是不变的。

• 对比现象：同样两个灰色小方块，一个放在白色背景上，一个放在黑色背景上，结果在白色背景上的小方块看起来比黑色背景上的小方块要暗。

•  视觉错觉

• 图像形成模型：

当一幅图像从物理过程产生是，它的值正比于物理源的辐射能量。因此，f(x,y)一定是非零的和有限的。函数f(x,y)可由两个分量来表征：（1）入射到观察场景的光源总量和，即入射分量i(x,y)。（2)场景中物体反射光的总量，即反射分量r(x,y)。则：f(x,y)=i(x,y)r(x,y)，其中0<i(x,y)<∞，0<r(x,y)<1.x,y是像素的坐标点

• 图像取样和量化

将一幅图像转化为数字图像，必须在坐标和幅度上都做数字化操作。数字化坐标值称为取样，数字化幅度值称为量化

个人对图像取样的理解：拍摄完一个图片后，如果把它转为像素为600x500的数字图像，即x轴有600个像素点，y轴有500个像素点，在二维坐标（x,y)有其对应的f(x,y)=b,b是点（x,y)的灰度值。拍摄出来的图片在颜色在整个区域内是连续的，因此需要对其进行取样和量化以转化成数字图像，也就是说，x轴取出600个点（1,2,3,…,600），y轴取出500（1,2,3,…500）个点，对应的（x,y)给定一个灰度值即f(x,y)。这就是取样和量化的理解。那如何进行呢？例如：图片大小为600mmX500mm，x轴上分为600份，每一份1mm。△x的取值范围就应该是：0<△x<1mm。y同理。由函数δ(x,y)=1当且仅当x=y=0，即x=m△x,y=n△y.△x和△y的取值 都是在一份的大小之内，所以如果将图片如上图放置，当m=1，n=1时，x1=m△x=△x（在x轴的一个单位之内的某个位置）,y1=n△y=△y（在y轴的一个单位之内的某个位置），这个点(x1,y1)处的灰度值就是作为在这个（0-△x，0-△y）整个区域内的灰度值，这个区域在像素坐标下的坐标为（1，1）。因为每次增大△x，△y，所以是在图像上均匀取出样值。

3. 数字图像的表示

• M、N取正整数，出于硬件方便处理的考虑，灰度级典型的取值是2的整数次幂
• 对于一幅大小为MxN，灰度级L=2k的数字图像，所需的存储空间是b=MxNxk。
• 称一幅2k的图像为k比特图像
• 屏幕分辨率：屏幕分辨率是指屏幕显示的分辨率。屏幕分辨率确定计算机屏幕上显示多少信息的设置， 以水平和垂直像素来衡量。屏幕分辨率低时（例如 640 x 480），在屏幕上显示的像素少，但尺寸比较大。屏幕分辨率高时（例如 1600 x 1200），在屏幕上显示的像素多，但尺寸比较小。显示分辨率就是屏幕上显示的像素个数，分辨率160×128的意思是水平方向含有像素数为160个，垂直方向像素数128个。屏幕尺寸一样的情况下，分辨率越高，显示效果就越精细和细腻。
• 像素间距（点距）：像素间距(pixel pitch)的意义类似于CRT的点距(dot pitch)，一般是指显示屏相邻两个象素点之间的距离。 我们看到的画面是由许多的点所形成的，而画质的细腻度就是由点距来决定的，点距的计算方式是以面板尺寸除以解析度所得的数值。以LCD为例，14英寸液晶显示器的可视面积一般为300mm×190mm，分辨率为1280×800，从而计算出此LCD的点距是300/1280=0.2344mm或者190/800=0.2375mm。点距越小，图像越细腻。
• 图像分辨率：在不同的应用场景中有不同的含义。在电脑中一般图像分辨率的表达方式为水平像素数×垂直像素数
• 数码图像：数码图像有两大类，一类是矢量图，也叫向量图；另一类是点阵图，也叫位图。矢量图比较简单，它是由大量数学方程式创建的，其图形是由线条和填充颜色的块面构成的，而不是由像素组成的，对这种图形进行放大和缩小，不会引起图形失真。
• 点阵图很复杂，是通过摄像机、数码相机和扫描仪等设备，利用扫描的方法获得，由像素组成的，是以每英寸的像素数（PPI）来衡量。点阵图具有精细的图像结构、丰富的灰度层次和广阔的颜色阶调。当然，矢量图经过图像软件的处理，也可以转换成点阵图。
• 灰度级分辨率：指在灰度级别中可分辨的最小变化
• 改变取样数目对图像的影响：

保留偶数行，保留偶数列就可以将1024x1024的图像抽样缩小为512x512的图像。通过复制行和列可以使抽样后的图像复原到原来的大小。

• 灰度级变化的影响：

灰度级为256时有0-255的256种不同取值，灰度级为2时只有1和1两种不同的取值，在图像上的表现方式就是只有黑色和白色。随着灰度级数目的减少，灰度级差异小的会被同化，差异大的差异越来越明显，就会出现明显的对比变化。

4. 数字图像

• 单色（灰度）图像：每个像素的亮度用一个数值来表示，取值范围0-255，0表示黑、255表示白，其他值表示处于黑白之间的灰度
• 彩色图像：用红、绿、蓝三元组的二维矩阵来表示。三元组的每个数值也是在0-255之间，0表示相应的基色在该像素中没有，而255表示相应的基色在该像素中取得最大值

5. 彩色空间

5.1 RGB

RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。红R、绿G、蓝B三种颜色的强度值均是0-255，则三种光混合在每个像素可以组成16777216（256256256）种不同的颜色。256级的RGB色彩也被简称为1600万色或千万色，或称为24位色(2的24次方)。
RGB格式
对一种颜色进行编码的方法统称为“颜色空间”或“色域”。用最简单的话说，世界上任何一种颜色的“颜色空间”都可定义成一个固定的数字或变量。RGB（红、绿、蓝）只是众多颜色空间的一种。采用这种编码方法，每种颜色都可用三个变量来表示-红色绿色以及蓝色的强度。记录及显示彩色图像时，RGB是最常见的一种方案。但是，它缺乏与早期黑白显示系统的良好兼容性。因此，许多电子电器厂商普遍采用的做法是，将RGB转换成YUV颜色空间，以维持兼容，再根据需要换回RGB格式，以便在电脑显示器上显示彩色图形。

5.2 CMY和CMYK

CMY是青（Cyan）、洋红或品红（Magenta）和黄（Yellow）三种颜色的简写，是相减混色模式，用这种方法产生的颜色之所以称为相减色，乃是因为它减少了为视觉系统识别颜色所需要的反射光。
和RGB的区别
RGB是红（Red）、绿（Green）和蓝（Blue）三种颜色的简写，是相加混色模式，每种颜色分量越多，得到的颜色越亮，每种颜色的取值范围为0~255；RGB常用于计算机显示方面。
由于彩色墨水和颜料的化学特性，用三种基本色得到的黑色不是纯黑色，因此在印刷术中，常常加一种真正的黑色（black ink），这种模型称为CMYK模型，广泛应用于印刷术。每种颜色分量的取值范围为0~100；CMY常用于纸张彩色打印方面。
和RGB的转换
转换公式为：

C=255-R
M=255-G
Y=255-B

该方程证明了从一个涂满纯净青色颜料的表面反射回的光不包含红色（纯净的青色255，则R=0）。同样，纯净的品红色不反射绿色，纯净的黄色不反射蓝色。前述的方程同样表明，从255减去单个CMY值，可以得到RGB值。

5.3 HSI

HSI是指一个数字图像的模型，它反映了人的视觉系统感知彩色的方式，以色调、饱和度和亮度三种基本特征量来感知颜色。
HSI模型的建立基于两个重要的事实：第一个，分量与图像的彩色信息无关；第二个，H和S分量与人感受颜色的方式是紧密相联的。这些特点使得HSI模型非常适合彩色特性检测与分析。
颜色模型：

色调H（Hue）：与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。
饱和度S（Saturation）：表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度。饱和度越大，颜色看起来就会越鲜艳，反之亦然。
亮度I（Intensity）：对应成像亮度和图像灰度，是颜色的明亮程度。
若将RGB单位立方体沿主对角线进行投影，可得到六边形，这样，原来沿主对角线的灰色都投影到中心白色点，而红色点（1，0，0）则位于右边的角上，绿色点（0，1，0）位于左上角，蓝色点（0，0，1）则位于左下角。
HSI颜色模型的双六棱锥表示，I是强度轴，色调H的角度范围为[0，2π]，其中，纯红色的角度为0，纯绿色的角度为2π/3，纯蓝色的角度为4π/3。饱和度S是颜色空间任一点距I轴的距离。当然，若用圆表示RGB模型的投影，则HSI色度空间为双圆锥3D表示。
注意： 当强度I=0时，色调H、饱和度S无定义；当S=0时，色调H无定义
和RGB的转换

5.4 YIQ

Y是亮度信号（Luminance），即亮度（Brightness），I代表In-phase，色彩从橙色到青色，Q代表Quadrature-phase，色彩从紫色到黄绿色。
较其他颜色空间，YIQ颜色空间具有能将图像中的亮度分量分离提取出来的优点，并且YIQ颜色空间与RGB颜色空间之间是线性变换的关系，计算量小，聚类特性也比较好，可以适应光照强度不断变化的场合，因此能够有效地用于彩色图像处理。可用于在自然条件下采集到的复杂背景下的运动目标的识别。
和RGB的转换

5.5 YUV

YUV，是一种颜色编码方法。常使用在各个视频处理组件中。 YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。
YUV是编译true-color颜色空间（color space）的种类，Y’UV, YUV, YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度（Luminance、Luma），“U”和“V”则是色度、饱和度（Chrominance、Chroma）。
和RGB的转换

5.6 YCbCr

YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到的图像质量的变化。主要的子采样格式有 YCbCr 4:2:0、YCbCr 4:2:2 和 YCbCr 4:4:4。
4:2:0表示每4个像素有4个亮度分量，2个色度分量 (YYYYCbCr），仅采样奇数扫描线，是便携式视频设备（MPEG-4）以及电视会议（H.263）最常用格式；4：2：2表示每4个像素有4个亮度分量，4个色度分量（YYYYCbCrCbCr），是DVD、数字电视、HDTV 以及其它消费类视频设备的最常用格式；4：4：4表示全像素点阵(YYYYCbCrCbCrCbCrCbCr），用于高质量视频应用、演播室以及专业视频产品。
和RGB的转换

6. 伪彩色图像处理

分类：单色图像（灰色黑白）、真彩色图像、伪彩色图像
伪彩色图像处理是根据一定的准则对灰度值赋以彩色的处理
为什么需要伪彩色图像处理？人类可以辨别上千种颜色和强度但是只能辨别二十几种灰度
怎么进行伪彩色图像处理？

6.1强度分层技术

• 把一幅图像描述为三维函数（x,y,f(x,y)）
• 分层技术：放置平行于（x，y）坐标面的平面
• 每一个平面在相交区域切割函数图像

6.2灰度级到彩色的转换

• 对任何输入像素的灰度级执行3个独立变换
• 3个变换结果分别送入彩色监视器的红、绿、蓝三个通道
• 产生一副合成图像

7. 全彩色图像处理

全彩色图像处理分为两大类：

• 分别处理每一分量图像，然后合成彩色图像
• 直接对彩色像素处理：3个颜色分量表示像素向量7

其中c代表RGB彩色空间中的任意向量。对大小为MxN的图像：

8. 彩色变换

彩色变换函数：

f(x,y)为彩色输入图像
g(x,y)是变换后或处理过的彩色输出图像
T是在空间邻域（x,y)上对f的操作

补色：
作用：增强嵌在彩色图像暗区的细节
如下入所示，与一种色调直接相对立的另一种色调称为补色

9. 彩色图像平滑和尖锐化

10 彩色分割

HSI彩色空间分割——直观H色调图像方便描述彩色，S饱和度图像做模板分离感兴趣的特征区I强度图像不携带彩色信息

11 物体的成像的前提

当一列波经过小孔，小孔接近波长量级，小孔会改变波的传播方式，这个过程称为衍射，在学习傅里叶光学时，要改变这一看法，衍射是普遍存在的。一个任意小的激光光源在自由空间传播一段距离，在接收屏上得到的光斑一定是大于光源尺寸，因为光在自由空间传播也会发生衍射，这个衍射过程会损失能量和信息（之后会解释）。当光照射到样品，假设透射式的样品，样品后的光的传播方式会发生变化，即衍射，这个变化与样品有关。

以单色，平面波，垂直照明为例，经过透射样品的光，将以怎样的形式向前传播？只说结论，两种学派，其一，光经过样品后，样品上的每一点，都变成了新的子波源（惠更斯-菲涅尔原理），发出权重因子受样品该点参数影响的球面子波，在观察平面上一点所接收到的光，实际上是从样品平面发出的所有球面子波在该点相干叠加的结果（基尔霍夫衍射理论）。

另一种学派的观点，光经过样品后，经过样品一点的平面波被分解为振幅与传播方向不同的很多列新的平面波，在观察平面上一点所接收到的光，实际上是从样品平面发出的所有平面波在该点相干叠加的结果（角谱衍射理论）。

12 成像这个词应当怎么理解

对于一个待成像物体x，光照在x上反射或者透射，原本的光的传播就受到了x的调制，随后再传播在一个接受器上。假设没有受到x调制的光是一张白纸，就是1，那么调制后的光就是1乘x，也就是x。而传播过程，不论是自由空间传播，还是在什么介质中传播，不论是否透过透镜等器件，我都将之称为一个函数F,那么我在接收端接收到的沿着空间方向上的分布就是F（x），严格来说这里应当取模，因为光的传播实际上是以复振幅形式，但是一切采集设备的直接采集都只能采集到强度。假设x是一个分布，采集的F（x）是另一个分布，那么所谓的成像过程就是采集F（x），并再此基础上解出x的分布或与x有线性关系的分布的过程。举一个便于理解的例子，给人拍照，也就是成像，最终的照片要像这个人，照片出来比人黑一些或者白一些程度不大时很难看出来，但是一定要像这个人。

如果直接用一个图像采集器，如CCD，采集通过样品后的自由空间传播的光波，得到样品的清晰成像？恐怕不行，这么说，按照前面说的衍射理论，经过样品的光波会被分解为平面波或者球面子波，随着传播距离的增加，衍射愈演愈烈，观察平面直接接受的图像只会变的更加失焦、模糊，当然也存在例外情况，针对于样品特殊的情况（泰伯效应）。

成像系统也就是用于成像的系统，它应当包含哪些成分？除了光源，采集，目标样品之外，还应当有相应的方法来得到待测样品的分布，可以是在采集后以计算的方法，也可以是在采集的过程中利用透镜或透镜组来使采集的结果直接为聚焦的结果，当然两种方式也可以兼而有之。

博文参考