第2章图像信息的基本知识

最新推荐文章于 2023-04-10 01:22:36 发布

xxatz

最新推荐文章于 2023-04-10 01:22:36 发布

阅读量631

点赞数 1

分类专栏：图新菜鸡之数字图像处理文章标签：计算机视觉图像处理人工智能

本文链接：https://blog.csdn.net/xxayt/article/details/127226936

版权

图新菜鸡之数字图像处理专栏收录该内容

2 篇文章 0 订阅

订阅专栏

文章目录

第二章图像信息的基本知识和运算

第二章图像信息的基本知识和运算

“图”：物体透射光或反射光的分布（客观存在）

“像”：视觉系统接收图后在大脑中形成的印象与认识（人为感觉）

2.1 数字图像术语与表示

相关术语：
- 像素：构成数字图像的最小单位
- 灰度：亮度，即色彩的深浅程度
- 图像的数字化 Digitizing：对模拟图像信号离散化的过程，包括空间离散化和幅值离散化
  - “转换”是非破坏性的
- 扫描 Scan：对图像内给定位置（元素位置）寻址
- 采样 Sampling：对图像进行空间上的离散化处理，即用空间上部分点的灰度值表示图像
  - 一般有点阵采样和正交系数采样
- 量化 Quantization/整量化：对图像进行灰度幅值的离散化处理，即对每个样点值数值化
  - 一般有均匀量化和非均匀量化
- 对比度Contrast Ratio：图片中灰度反差的大小
  $\text{对比度}=\dfrac{\text{最大亮度} }{\text{最小亮度}}$
- 分辨率 Resolution：
  - 灰度分辨率：值的单位幅度上包含的灰度级数
    - 若用8bit储存，则灰度级有256级
  - 空间分辨率：图像可辨别的最小细节
    - 采样间隔为主要参数
表示方法：
- 矩阵表示法：等间隔采样，排成 $M\times N$ 矩阵
  - 灰度图像灰度级取6b~12b
  - 彩色图像RGB各用8b，共24b表示每个像素
  - 二值图像每个像素1b
- 链码 Freeman码：表示二值图像，省空间。常见有4方向或8方向
- 常见文件格式：BMP(未压缩的原始矩阵)，GIF(支持动画)，JPG(有损压缩)，PNG(便于传输)

2.2 图像与视觉

人眼成像方式：
- 锥状细胞：视网膜上主导明视觉活动的感光细胞
- 柱状细胞：在夜视起作用，但不能感知颜色
- 不同颜色对应不同波长
人眼适应的亮度范围：
- 总体范围大：从暗视觉极限到眩目极限之间的范围在 $10^{10}$ 量机
- 具体范围小：一般范围在 $10^{5}$ 量级
- 机器调节：调整快门(曝光)时间（从 $1 s$ 到 $10^{-5}s$ ）和光圈大小

2.3 像素间的基本关系

像素的邻域 Neighborhood：邻近像素
- 4-邻域 $N_4(p)$ ：坐标为 $(x+1,y),(x-1,y),(x,y+1),(x,y-1) $ 的像素
- D-邻域 $N_D(p)$ ：坐标为 $(x+1,y+1),(x+1,y-1),(x-1,y-1),(x-1,y+1) $ 的像素
- 8-邻域 $N_8(p)$ ：坐标 $N_4(p)$ 和 $N_D(p)$ 的并集
连通性 Connectivity：描述目标边界和区域元素
- 连通：
  - 条件：
    1. 两像素位置上相邻
    2. 两像素灰度相似：灰度值集合 $V=\{8,9,...,a16 \}$ 表示考虑灰度值在 $8\sim 16$ 的像素的连通性。
  - 分类：4-连通，8-连通，m-连通
- 临近：
  - 像素临近：若像素 $p$ 和像素 $q$ 是连通的，则称像素 $p$ 临近于 $q$ 。可同样定义4-临近、8-临近和m-临近
  - 子图临近：若子图 $S_1$ 和 $S_2$ 中某些像素是临近的，则称 $S_1$ 和 $S_2$ 是临近的
- 路径：满足相邻像素临近的序列
距离量度：欧氏距离，城市距离(曼哈顿距离)，棋盘距离( $D=\max(|x_1-x_2|,|y_1-y_2|)$ )

2.4 基本运算

2.4.1 代数运算 Algebraic Operation

Opencv代数运算常用函数可查看 Opencv代数运算

基本代数运算：集合位置不变，对图像灰度级进行加减乘除或逻辑运算。
$s(x,y)=\alpha f(x,y)* \beta g(x,y)\qquad *为+,-,\times,\div,bitwise$
其中 $f (x, y), g (x, y)$ 为输入图像， $s (x, y)$ 为输出图像
代数运算应用：
- 加运算降低随机噪音：设第 $k$ 帧图像表示为 $f_k(x,y)=s(x,y)+n_k(x,y)$ ，其中 $s (x, y)$ 为理想图像， $n_k(x,y)$ 为噪声图像。若噪声图像为零均值且各帧独立，即满足
  $\begin{aligned} E\{n_k(x,y) \}&=0\\ E\{n_k(x,y)+n_j(x,y) \}&=E\{n_k(x,y) \}+E\{n_j(x,y) \}\\ E\{n_k(x,y)\cdot n_j(x,y) \}&=E\{n_k(x,y) \}\cdot E\{n_j(x,y) \} \end{aligned}$
  对于图像任意点，有功率信噪比定义为
  $\color{red}\eta_0(x,y)=\dfrac{s^2(x,y)}{E\{n^2(x,y) \}}$
  对 $M$ 帧图像求平均有
  $g(x,y)=\dfrac{1}{M}\sum\limits_{i=1}^{M}[s(x,y)+n_i(x,y)]$
  则输出图像的信噪比为
  $\eta_1=\dfrac{s^2(x,y)}{E\left\{\left[\left(\dfrac{1}{M}\right)\sum\limits_{i=1}^{M}n_i(x,y)\right]^2 \right\}}=\color{red}M\eta_0(x,y)$
  故对 $M$ 帧图像求平均后，输出图像的信噪比提高了 $M$ 倍。
- 加运算进行图像融合 Image Fusion：根据不同像素重要程度自动计算加法权重实现互补，使得多幅图像信息能够取长补短。例可见光与红外图像的融合
- 减运算检测运动区域：根据运动序列图像中运动帧与背景帧间的差异，利用差分法使图像相减，可以对运动目标进行检测，从而实现运动目标定位、跟踪。
- 减运算提取梯度函数：根据梯度函数定义得到每个点斜率的陡峭程度
  $\nabla f(x,y)=i\;\dfrac{\partial f(x,y)}{\partial x}+j\;\dfrac{\partial f(x,y)}{\partial y}$
  在数字图像中可用差分近似
  $|\nabla f(x,y)|\approx\max(|f(x,y)-f(x+1,y) |, |f(x,y)-f(x,y+1) |)$
  表斜率陡峭程度。在物体边缘，梯度幅值较大。

2.4.2 几何运算 Geometric Operation

几何运算定义：通过图像像素位置的变换，直接确定该像素灰度的运算。一般几何运算需要先定义空间变换，后利用灰度级插值填充整数坐标。

在输入图像 $f (x, y)$ 中，灰度值仅在整数位置 $(x, y)$ 处被定义，而 $g (x^{'}, y^{'})$ 的灰度值一般由非整数坐标上的 $f (x, y)$ 来确定。故 $f$ 中的一个像素会映射到 $g$ 中的几个像素之间的位置，会产生一些空洞，因此需要灰度级插值进行填充。
- 一般空间变换的表达式为
  $g(x',y')=g(a(x,y),b(x,y))=f(x,y)\qquad (*)$
- 灰度级插值常用最近邻插值法或双线性插值法
基础几何运算：
- 刚性变换 Rigid Transformation：不会改变图像的外形，又称相似性变换
  - 平移变换 Translation：令 $a(x,y)=x+x_0,b(x,y)=y+y_0$ 可得到平移变换（输出结果为整数，不需要插值处理）
  - 缩放变换 Zoom Out/Zoom In：令 $a(x,y)=\dfrac{x}{c} ,b(x,y)=\dfrac{y }{d}$ （需要插值处理）
  - 旋转变换 Rotation：令 $a(x,y)=x\cos\theta-y\sin\theta,b(x,y)=x\sin\theta+y\cos\theta$
    
    注意：
    1. 旋转后尺寸变大
    2. 计算后坐标会有负值，需要整体平移
    3. 最后需要插值处理
  - 水平镜像：令 $a (x, y) = x, b (x, y) = w - y$
  - 垂直镜像：令 $a (x, y) = h - x, b (x, y) = y$
- 非刚性变换 Non-grid Transformation：图像形状改变
  - 射影变换 Projective Transformation：需要4对匹配点组成8个方程，原来平行的边界不再平行。
    $\begin{cases} a(x,y,z)=m_{xx}x+m_{xy}y+m_{xz}z+t_x\\ b(x,y,z)=m_{yx}x+m_{yy}y+m_{yz}z+t_y\\ c(x,y,z)=m_{zx}x+m_{zy}y+m_{zz}z+1\\ \end{cases}$
  - 仿射变换 Affine Transformation：需要3对匹配点组成6个方程，原来平行的边界保持平行。
    $\begin{cases} a(x,y,z)=m_{xx}x+m_{xy}y+t_x\\ b(x,y,z)=m_{yx}x+m_{yy}y+t_y\\ \end{cases}$
几何运算应用：处理几何畸变，遥感图像匹配，医学图像配准