【北交】图像处理：基本概念、图像增强、形态学处理、图像分割

1.基本概念

1.1人类视觉特点

• 多义性（同一张图片会因为前景和背景的互换而有不同的含义）
• 错觉
• Mach带：亮度变化部位附近，暗区更暗，亮区更亮

1.2机器视觉

• 处理、理解、感知数字图像

1.3图像采样与量化

• 空间分辨率
• 亮度分辨率

1.4直方图

• 灰度直方图：具有i灰度级的像素的个数（面积）
• 一张图像对应唯一的直方图，一个直方图对应多幅图像（直方图没有存储图像的位置信息，只是记录了像素组成成分）
• 应用：
  • 直方图均衡：图像增强
  • 分割阈值：图像分割
  • 直方图对比：图像分类

2.图像增强

2.1图像增强原因

• 视觉效果不佳：灰度变换到人眼敏感区域
• 噪声污染：滤波（空间域、频域）
• 难以分析理解

2.2目的

• 突出或去除某些信息
• 并没有增加信息量，可能还损失了信息量
• 没有统一客观的评价标准，特定用途特定方法

2.3方法

2.3.1空间域增强

直接对图像像素灰度级进行操作

• 灰度变换

  • 线性变换，分段线性变换：灰度拉伸（突出）和压缩（抑制）
  • 对数变换：灰度级低的时候灰度拉伸，高灰度级会压缩，适合突出灰度级低的图像
  • 幂次变换：幂指数<1,适合处理低灰度级的，>1适合高灰度级的
  • 直方图变化：使用变化前后像素点个数不变作为桥梁，推导变化前后直方图间的关系如下图：

变化前后直方图间的关系

• 代数运算
  • 加法运算：去除叠加的随机噪声（噪声均值为0，求多福图像平均，多用于视频处理）
  • 减法运算：分割特定区域（减去背景区域），检测场景变化（减去模板图像）
  • 乘法运算：获得指定区域 （与掩膜相乘）
• 空间域滤波
  低通滤波：积分运算，去噪，图像平滑
  • 均值滤波：低通滤波
  • 高斯滤波：低通滤波
    上述二者会造成边缘模糊（原本干净的像素突变边缘被变成了斜坡的像素变化）
  • 中值滤波：仍能得到清晰的边界
  • 高通滤波：微分运算，边缘锐化（原图像与梯度叠加）
    • Robert算子：交叉差分算法$\left|\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right|$$\left|\begin{array}{cc}0& -1\\ 1& 0\end{array}\right|$
    • Prewitt算子：$\left|\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right|$$\left|\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right|$
    • Sobel算子$\left|\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right|$$\left|\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right|$
    • Laplace算子：二阶差分，对噪声敏感，不能检测边缘方向，可以进行边缘定位$\left|\begin{array}{ccc}0& -1& 0\\ -1& 4& -1\\ 0& -1& 0\end{array}\right|$$\left|\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right|$
      一阶导数可以检测像素点是否在边缘上，二阶导数可以检测边缘点在亮侧还是暗侧

2.3.2频域增强（频域滤波）

• 傅里叶级数：周期信号可以表示为无数个正弦波的叠加
• DFT：一维离散信号傅里叶变换
• 2-D-DFT：二维离散信号傅里叶变换
• 数字图像都是实函数，傅里叶变换是对称的，频谱幅度谱对称
• 频率域原点对应图像灰度级的平均值
• 原图像-FFT-频域滤波-IFFT-增强后图像
• 只能消减加性噪声，无法消减乘性、卷积噪声
• 主要性质：
  • 平移特性：相移对应频域平移
  • 旋转特性：空间域旋转，傅里叶变换旋转同样角度
  • 尺度放缩：幅度谱反向放缩
  • 卷积性质：空间卷积对应频域乘积，空间乘积对应频域卷积
  • 相关特性：空间相关对应频域相乘（会加快运算）
  • 分离性质：二维分解成两个一维，一维可以用FFT加速
• 低通滤波
  • 理想低通滤波器：振铃现象（亮暗相间的圈）
  • Butterworth低通滤波器：阶数n越大，性能越好，越接近理想性能（通带不衰减，阻带衰减为0，n<=2时振铃现象可忽略）
  • 高斯低通滤波器：随着截止频率增加，性能改善，平滑效果不如前者，但没有振铃现象，应用最广泛
• 高通滤波
  • 理想高通滤波器：振铃现象（亮暗相间的圈）
  • Butterworth高通滤波器：阶数n越大，性能越好，越接近理想性能（通带不衰减，阻带衰减为0，n<=2时振铃现象可忽略）
  • 高斯高通滤波器：随着截止频率增加，性能改善，平滑效果不如前者，但没有振铃现象，应用最广泛

2.3.3同态滤波

消减乘性、卷积噪声（光照不均等）

• 照度分量：光照变化，整个空间缓慢变化（低频）
• 反射分量：物体间交界处急剧变化（高频）
• 同态滤波：压缩低频，增强高频，拉伸其他部分增大对比度
• 基于Retinex滤波：基于视网膜和大脑皮层原理，人会先寻找标准白光，通过计算色差来得到物体信息
  • 入射光：图像灰度级动态范围
  • 反射光：图像内在本质（待求）

3.形态学处理

• 形态学：生物学中研究动物植物结构的一个分支
• 数字形态学：集合论方法描述几何结构
• 图像数学形态学处理：以形态为基础对图像进行分析
• 提取边界：原图与形态学处理后图像做差，可得到边界
• 击中击不中变换：识别形状，用结构对模板探测目标形状内外部

3.1膨胀

• A被B膨胀：对B的反射（关于原点对称）进行平移，使之与A的交集不为空的点的集合
• 补全空洞
• 做与运算

3.2腐蚀

• A被B腐蚀：将B平移z之后，被包含在A的点的集合
• 可以用来做匹配（腐蚀成一个点）
• 削去毛刺
• 做或运算

3.3开运算

• 先腐蚀再膨胀
• 消除小物体、在纤细处分离物体
• 平滑大物体的边界，不明显改变面积

3.4闭运算

• 先膨胀再腐蚀
• 填充物体内细小空洞
• 连接物体
• 平滑边界，不明显改变面积

4.图像分割

• 感兴趣区域分割-感兴趣区域识别
• 区域：具有共同属性（灰度、颜色、纹理、模式）的像素的连通集合
• 图像分割：将图像划分为若干互不相交的小区域

4.1基于阈值的分割

• 全局阈值、局部阈值、动态阈值
• 阈值选取：
  • 直方图技术：目标和背景对比度高，根据直方图分布设定阈值选取目标区域
  • 最小误差技术：最小化目标错分为背景的概率和背景错分为目标的概率（需要知道目标和背景的概率分布，可应用性不强）
  • 最大方差技术：最大化不同分割区域间的方差（可操作性强，应用广泛）

4.2基于边缘的分割

• 点检测
  • 模板：$\left|\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right|$
• 线检测
  • 模板：一阶求导的模板
• 图像边缘：一组相连的像素的集合，这些像素位于两个区域边界
• 边缘提取：一阶或二阶导数、高通滤波
• 边缘提取：检测精度、定位精度、单边响应（单边存在的地方不出现多边）
• Canny算子：
  • 降噪：高斯低通滤波
  • 梯度：4个方向检测梯度
  • 非极大值抑制：沿着梯度方向寻找局部最大值
  • 边缘跟踪：双阈值检测、跟踪边缘
• 霍夫变换
  • 边缘间断（照明或噪声的影响）
  • 求出最有可能的直线/曲线方程
  • 转换到参数平面中，相交直线最多的点即为所求直线的参数
  • 用极坐标的形式来表示直线（因为垂直时候斜率是无穷大）
  • 使用交点累加器或直方图
  • 可以用来矫正票据
  • 优点：抗噪、信噪比要求低、检测直线或解析曲线
  • 缺点：需要先进行二值化和边缘检测，会损失许多信息

4.3基于区域的分割

• 区域生长法，以小区域（种子像素）向外扩大，分割出相似区域
• 确定种子像素：
  • 人机交互（医学图像应用较多）
• 判断相似性：
  • 基于灰度差
  • 基于区域灰度分布特性：比较累计灰度直方图（Kolmogorov-Smirnov检测，Smoothed-Difference检测）
• 区域分裂合并法：分裂直到方差为0，一致的方差合并

4.4基于学习的分割