图像处理——图像及其表达与性质

---

1 若干概念

• 图像(image)：我们通常在直观上理解其意义，例如人类眼睛视网膜上的图像或者TV摄像机抓取的图像。
• 亮度(brightness)：集成了不同的光学量，将亮度作为基本量使我们得以避免对图像的成像过程进行描述。
• 亮度图像(intensity image)：我们将这种记录了明亮度信息的2D图像。
• 透视投影(perspective projection)：$u = \frac{xf}{z}$ $v = \frac{yf}{z}$
• 
• 灰阶(gray-level)：在单色图像中最低值对应于黑，而最高值对应于白。在他们之间的灰度值是灰阶。
• 数字图像的品质随着空间、频谱、辐射计量、时间分辨率增长而提高
  
  • 空间分辨率(spatial resolution)：由图像平面上图像采样点间的接近程度确定的。
  • 频谱分辨率(spectral resolution):由传感器的光线频率带宽决定的。
  • 辐射计量分辨率(radiometric resolution):对应于可区分的灰阶数量。
  • 时间分辨率(time resolution):取决于图像获取时间采样间隔。

2 图像数字化

• 采样(sampled)：将$f(x,y)$采样为一个$M\times N$的矩阵。
• 图像量化(quantization)：给每一连续的样本数值一个整数数字。

2.1 采样

• 一个连续图像在采样点处被数字化，这些采样点是在平面上排列的，称它们的几何关系为栅格(grid).
• 光栅(raster):在点之间定义了相邻的栅格。
• 像素(pixel)（图像元素 image element）:栅格中一个无限小的采样点对应于数字化图像中的一个像元。

2.2 量化

• 量化（quantization）:采样图像数值$f_s(j\Delta x,k\Delta y)$用一个数字表示。将图像函数的连续数值（亮度）转变为其数字等价量的过程。
• 量化方式：b位表示图像亮度的数值，那么亮度阶就是$k = 2^b$。

2.3 数字图像性质

2.3.1 数字图像的度量和拓扑序列

• 距离满足的条件
  
  1. 同一性：$D(p,q)\ge 0 ,当且仅当 \ p =q 时 \quad D(p,q) = 0$
  2. 对称性：$D(p,q)=D(q,p)$
  3. 三角不等式：$D(p,r)\le D(p,q)+D(q,r)$
• 常用的距离度量
  
  • 欧式距离(Euclidean distance ) : $D_E[(i,j),(h,k)] =\sqrt{(i-h)^2+(j-k)^2}$
  • 城市街区距离(city block distance):$D_4 [(i,j),(h,k)]=|i-h|+|j-k|$
  • 棋盘距离(chessboard distance)：$D_8[(i,j),(h,k)] = max(|i-h|,|j=k|)$
• 像素的邻接性：任意两个像素如果它们之间的距离$D_4=1$称为4-邻接(4-neighbors)的。
• 区域(regions)：彼此邻接的像素的重要集合。在集合论中，区域是一个连通集。更具体的说法：如果我们定义从像素$P$到像素$Q$的路径为一个点序列$A_1,A_2,\cdots A_n$，其中$A_1 = p,A_n = Q$，且$A_{i+1}是A_i$的邻接点，$i = 1,2,\cdots,n-1$，那么区域(regions) 是指这样的集合。其中任意两个像素之间都存在着完全属于该集合的路径。
• 连通(contiguous) 如果两个像素之间存在一条路径，那么这些像素就是连通的。关系是：自反的，对称的，传递的。
• 假设$R_i$是“连通”关系产生的不想交的区域，进一步假设这些区域与图像的边界不接触。设区域R是所有这些区域$R_i$的并集，$R^c$是区域R的相对于图像的补集合。我们称包含图像边界的$R^C$的连通子集合为背景(background)，而称补集合$R^C$的其他部分为孔(holes)。如果区域中没有孔，我们称之为简单连通(simply contigous)区域。等价地，简单连通区域的补集合是连通的。有孔的区域称为复连通(multiple contigous)。
• 距离变化（distance transform）：距离函数（distance function），斜切算法（chamfering algorithm）像素与某个图像子集的距离。所产生的的图像在该子集元素位置处的像素值为0，邻近的像素具有较小的值，而离它远的数值比较大。
• 局部掩膜(mask)遍历图像
  
  • 第一遍：从左上角开始，水平从左到右直至图像边界，然后返回到下一行开始出继续。
  • 第二遍：从右下角开始，使用一个不同的局部掩膜，从右至左，从上到下
• 距离变化算法
  
  1. 按照一种距离度量D，D是$D_4$或$D_8$，对大小为$M\times N$的图像的一个子集S计算距离变化，建立一个$M\times N$的数组F并作初始化：子集S中的元素置为0，其他置为无穷大。
  2. 按行遍历图像，从上到下，从左到右，对于上方和左面的邻接像素。设$F(p) = min[F(p),D(p,q)+F(q)]$。
  3. 按行遍历图像，从下到上，从右到左。对于下方和右面的邻接像素。设$F(p) = min[F(p),D(p,q)+F(q)]$。
  4. 数组F中得到的是子集S的斜切。
• 准欧式距离(quasi-Euclidean distance): $$\begin{equation}D_{QE}[(i,j),(h,k)] = \{ \begin{aligned} |i-h|+(\sqrt{2}-1)|j-k| &\quad 当|i-h|>|j-k| \\ (\sqrt{2}-1)|i-h|+|j-k| & \quad 其他\end{aligned} \end{equation}$$
• 边缘(edge)：它是一个像素和其直接邻域的局部性质。它是一个有大小和方向的矢量。边缘计算的对象是具有很多亮度级别的图像。计算边缘的方式是计算函数的梯度。
• 裂缝边缘(crack edge)：在像素间创建了一个结构体，与单元复合(cellular complexes)的结构类似。每个像素有四个裂缝边缘，由其4-邻接关系定义而得，裂缝边缘的方向沿着亮度增大的方向，是$90^\circ$ 的倍数。
• 边界(border):区域R的边界是它自身的一个像素集合，其中的每个点具有一个或多个R外的邻接点。
  
  • 内部边界
  • 外部边界
• 区域的凸性：如果区域内的任意两点连成一条直线而这条线完整地位于区域内。
• 凸包：包含输入区域的一个最小凸区域，其输入区域本身可以是非凸的。
• 拓扑性质(topological properties)：基于距离的概念。橡皮面变换(rubber sheet transformation。

3.2 直方图

• 亮度直方图(beightness histogram)：$h_f(z)$给出图像中亮度值z出现的频率，一幅有L个灰阶的图像的直方图具有L个元素的一位数组表示。
• 计算亮度直方图
  
  1. 数组$h_f$的所有元素赋值为0
  2. 对于图像f的所有像素，做$h_f[f(x,y)]+1$
• 数字图像的直方图一般都有很多的极大值和极小值，这会使进一步处理变的负载。可以通过对直方图进行局部平滑来避免。可以利用相邻直方图元素的局部平均来做。
  
  • 新的直方图公式为$h_{f}^{'}(z) = \frac{1}{2K+1}\sum\limits_{i = -k}^{k}h_f(z+i)$
  • 是一个常量，代表平滑所使用的邻域的大小。
• 高斯模糊(Gaussian blurring)

3.3 熵

• 熵H(Entroyp)就可以估计出图像的信息量
• 信息熵(information entropy):直觉理解与关联于给定概率分布的事件的不确定性大小有关。熵可以作为”失调”的度量，当失调水平上升时，熵就增加而事件就越来越难于预测。
• 假设离散随机变量X的可能结果是$x_1,x_2,\cdots,x_n$，设$P(x_k)$是出现$x_k，(k = 1,2,\cdots,n)$的概率，熵定义为$H(X) = \sum\limits_{k = 1}^n p(x_k)log_2(\frac{1}{(p(x_K)}) =-\sum\limits_{k=1}^np(x_k)log_2p(x_k)$.

3.4 图像的视觉感知

• 对比度(contract)：对比度是亮度的局部变化，定义为物体亮度的平均值与背景亮度的比值。表观上的亮度很大程度上取决于局部背景的亮度，这种现象被称为条件对比度(condition contract)。
• 敏锐度(acuity)：敏锐度是觉察图像细节的能力。人 的眼睛对于图像平面中的亮度的缓慢和快速变化敏感度差一些，而对于其间的中等变化较为敏感。敏锐度也随着光轴的距离增加而降低。

3.5 图像的品质

3.6 图像中的噪声

• 噪声(noise)：实际的图像常受一些随机误差的影响而退化，我们称这种退化为噪声。
  
  • 白噪声(white noise)：理想的噪声，白噪声具有是常量的功率谱，就是噪声在所有的频率上出现且强度相同。
  • 高斯噪声(Gaussion noise)：服从高斯(正态)分布的随机 变量具有高斯曲线型的概率密度$p(x) = \frac{1}{\sigma \sqrt{2\pi}}e^{\frac{-(x-\mu)^2}{2\sigma^2}}$
  • 加性噪声(additive noise)：当图像通过信道传输时，噪声一般与出现的图像信号无关。
  • $f(x,y) = g(x,y)+v(x,y)$，噪声v和输入图像g是相互独立的变量
  • 算法：产生加性零均值高斯噪声
    
    1. 假设图像的灰阶范围是$[0,G-1]$。它的值最小时，相应的噪声也小。
    2. 针对每对水平相邻的像素$(x,y),(x,y+1)$产生一对位于$[0,1]$范围的独立的随机数$r,\phi$。
    3. 计算 $z_1 = \sigma cos(2\pi\phi)\sqrt{-2lnr}\quad z_2=\sigma sinn(2\pi\phi)\sqrt{-2lnr}$ (Box-Muller变换，假设$z_1,z_2$是独立的具有0均值和$\sigma$方差的正态分布)。
    4. 置$f^{'}(x,y)=g(x,y)+z_1$和$f^{'}(x,y+1)=g(x,y+1)+z_2$，其中g是输入图像。
    5. 置$\begin{equation} f(x) = \begin{cases}0 & 当f^{'}(x,y)<0 \\ G-1 & 当f^{'}(x,y)>G-1 \\ f^{'}(x,y)& 其他\end{cases}\end{equation}$ $\begin{equation}f(x,y+1) = \begin{cases}0 & 当f^{'}(x,y+1)<0 \\ G-1 & 当f^{'}(x,y+1)>G-1 \\ f^{'}(x,y+1)& 其他& \end{cases}\end{equation}$
    6. 跳转到步骤3，直至扫描完所有的像素。
  • 信噪比(SNR):图像品质的一个度量，值大的就是’好’
  • 计算噪声贡献的所有平方和$E = \sum\limits_{(x,y)} v^2(x,y)$
  • 观察的信号的所有平方和$F=\sum\limits_{(x,y)}f^2(x,y)$
  • $SNR = \frac{F}{E}$ $SNR_{db} = 10log_{10}SNR$
  • 乘性噪声(multiplicative noise):$f = gv$ 例子：电视光栅退化，胶片材料退化。
  • 量化噪声(quantization noise): 会在量化级别不足时出现
  • 冲击噪声(inpulsive noise):是指一幅图像被个别噪声像素破坏，这些像素的亮度与其邻域的显著不同
  • 胡椒盐噪声(salt-and pepper noise):是指饱和的冲击噪声，这时图像被一些白的或者黑的像素所破坏。

4 彩色图像

4.1 色彩物理学

• 表面反射：类似镜子的方式弹回进来的能量。
• 体反射(baby reflaction)：能量扩散进入材料内并随机地从其内部的颜料反射。
• 分光光度计(spectrophotometer)
• 多谱图像(multispectral images)

4.2 人所感知的色彩

• 新的2D坐标$x,y$按如下方式获得:$x = \frac{X}{X+Y+Z},y = \frac{Y}{X+Y+Z},z = 1-x-y$

  

4.3 彩色空间

• RGB色彩空间：$(i,j,k),0\le i,j,k\le 255$
• RGB与XYZ色彩空间之间的变换 $\begin{bmatrix} R \\ G\\ B \end{bmatrix} = \begin{bmatrix}3.24 & -1.54 & -0.50 \\ -0.98 & 1.88 & 0.04 \\ 0.06 & -0.20 & 1.06 \end{bmatrix}\begin{bmatrix} X \\ Y \\ Z\end{bmatrix}\quad \begin{bmatrix} X \\ Y\\ Z \end{bmatrix} = \begin{bmatrix}0.41 & 0.36 & 0.18 \\ 0.21 & 0.72 & 0.07 \\ 0.02 & 0.12 &0.95 \end{bmatrix}\begin{bmatrix} R \\ G \\ B\end{bmatrix}$

未完待续。。。。。。