【自用】图像算法、计算机视觉面试问题及答案1.0

传统机器算法

2022.4.11

• 图像预处理

图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。 一般的预处理流程为：灰度化->几何变换->图像增强

• 图像增强

增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。
图像增强可分成两大类：频率域法和空间域法。

1.频率域法

频率域法是一种间接图像增强算法，把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。

2.空间域法

空间域法是一种直接图像增强算法，分为点运算算法和邻域去噪算法。
点运算算法即灰度变换（伽马变换、对数增强）和直方图修正等。
邻域增强算法分为图像平滑和锐化两种。平滑常用算法有均值滤波、中值滤波。锐化常用算法有梯度法（如Roberts梯度法）、算子法（Sobel算子和拉普拉斯算子等）、掩模匹配法、统计差值法等。

• 传统的边缘检测算子

1、Roberts算子

Robert是最老的算子之一

掩膜：只使用当前像素的 2 x 2 邻域

边缘幅度的计算：对角相减 再 相加

Roberts算子的主要缺点是其对噪声的高度敏感性，原因在于仅使用了很少几个像素来近似梯度

2、Laplace 算子

通常使用 3 x 3 的邻域，Laplace是近似给出边缘幅值的二阶导数的 流行方式

4-邻接 掩膜：

8-邻接 掩膜：

Laplace算子有一个缺点是它对图像中的某些边缘产生双重响应。

3、Prewitt算子

Prewitt 是 近似一阶导数

对于3 x 3 的卷积掩膜，在8个可能方向（有8个卷积掩膜）上估计梯度

具有最大幅值的卷积给出梯度方向

前三个卷积掩膜（后续的可以通过“旋转”获得）：

4、Sobel

Sobel 是 近似一阶导数，具有最大幅值的卷积给出梯度方向

Sobel算子是通常使用与水平和垂直边缘的一个简单检测子

5、Kirsch算子

边缘检测算子的主要缺点：

它们依赖物体的大小，且对噪声敏感

• Canny算法

Canny边缘提取 是 Canny 提出了一种新的边缘检测方法

Canny边缘检测分四个阶段

    1.去噪  通过一个5*5的高斯滤波器完成;
    2.找图像的边缘。利用Sobel kernel得到水平和垂直方向两个方向的梯度。
    3.过滤非最大值。在高斯滤波中,边缘很有可能被放大了。过滤不是边缘的点.
    4.使用两个值域来检测边缘。它设置两个阀值，分别为maxVal和minVal。其中大于maxVal的
都被检测为边缘，而低于minval的都被检测为非边缘。对于中间的像素点，如果与确定为边缘的
像素点邻接，则判定为边缘；否则为非边缘。

它对受白噪声影响的阶跃型边缘是最优的

检测子的最优性与以下的三个标准有关:

1、检测标准：不丢失重要的边缘，不应有虚假的边缘。

2、定位标准：实际边缘与检测到的边缘位置之间的偏差最小。

3、单响应标准：将多个响应降低为单个边缘响应。

最优性标准是基于如下要求:“检测”重要边缘、小的“定位”误差、“单边缘响应”。该检测子与一个对称 2D 高斯做卷积，再沿梯度方向微分；接着的步骤包括“非最大边缘抑制”、“滞后阈值化处理”和“特征综合”。

在Canny算法中，非极大值抑制是进行边缘检测的重要步骤，通俗意义上是指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，这样可以剔除掉一大部分非边缘的点（这是本人的理解）。 根据图可知，要进行非极大值抑制，就首先要确定像素点C的灰度值在其8值邻域内是否为最大。

2023.6.15

• 数字图像处理基本概念速览

1、数字图像处理

概念：

彩色图像和非彩色图像，彩色图像由三色图组成，非彩色图像由黑白和各种灰色组成黑白图像，记录物体的光强度。
模拟图像和数字图像，按图像空间坐标和亮度（或色彩）的连续性可分为模拟图像和数字图像。模拟图像可用连续函数来描述，光照位置和光照强度均为连续变化的。数字图像可用矩阵或数组来描述，空间位置和亮度都为离散的整数值。
数字图像需要借助计算机才能够显示，数字图像处理也称为计算机图像处理。

内容、特点及应用：

狭义图像处理：图像到图像的操作，包括图像增强、图像压缩等，处理对象为像素。
图像分析：对图像中的目标进行检测和测量，从而获得图像描述 的处理，处理对象为目标。
图像理解：在图像分析的基础上，对图像中的目标用符号加以表示，并研究符号的属性和符号间的关系。

精度高：数字化中不管用多少比特表示，只需要改变程序的参数，处理方法不变，而模拟图像需要对装置进行改进
再现性好：以数组或数组集合表示，数据不易丢失或遭破坏，而模拟图像处理中，容易受各种干扰因素影响。
通用性、灵活性强：对于各种图像，虽然所用设备和精度各不相同，但将图像数字化后，对于计算机而言，都可进行相同处理操作。同时，可以对图像进行各种处理，如：合成、拼接、放大、缩小等。

• 图像的数字化：由模拟图像获取满足需求的数字图像
• 图像变换 ：处理问题简化、有利于特征提取、加强对图像信息的理解，重点：傅里叶变换的算法、性质和应用。
• 图像增强：增强图像的有用信息，削弱噪声的干扰。
• 图像的回复与重建：把退化、模糊了的图像复原。包括图像辐射校正和几何校正的内容。
• 图像编码：简化图像的表示，压缩图像数据，便于存储和传输。

2、数字图像的获取

• 数字的图像化

图像数字化—把一幅图画分割成一个个小区域（像元或像素），并将各小区域用整数值来表示，形成一幅点阵的数字图像。像素属性=（位置，灰度/颜色）

• 数字图像的表示

用矩阵来描述，数字图像根据灰度级数的差异可分为：黑白图像、灰度图像、彩色图像。

黑白图像:每个像素只能是黑或者白，没有中间过渡，又称为二值图像。像素值为0或1
灰度图像:每个像素的信息由一个量化的灰度来描述，没有彩色信息。 八比特数值表示，[0,255]。
彩色图像: RBG红绿蓝三个通道分量构成，分别由不同的灰度级描述，每一个灰度级使用一个字节，即彩色图像一个像素需要三个字节。24位表示三个通道

• 数字图像化的过程

包括：采样、量化

采样：将空间上连续的图像变换为离散点的操作
采样间隔：采样点之间的距离
采样孔径：采样采用的形状和大小
采样方式：有缝、无缝、重叠

量化： 像素灰度转换为离散的整数值的过程
图像数据量：MN、灰度级为G的图像所需的存储空间MN*g(bit)为图像数据量

• 采样、量化参数与数字化图像间的关系

数字化方式可分为均匀采样、量化和非均匀采样、量化
“均匀”：采样、量化为等间隔方式。图像数字化一般采用均匀采样和均匀量化方式
非均匀采样：根据图像细节的丰富程度改变采样间距，细节丰富的地方采样间距小，否则间距大。
非均匀量化：对图像层次少的区域采用间隔大量化，对图像层次丰富的区域采用间隔小来能量化。

采样间隔越大，图像像素数越少，空间分辨率低，质量差
采样间隔越小，图像像素数越多，空间分辨率高，质量好，但数据量大

3、灰度直方图

概念：反应一幅图像中各灰度级像素出现的频率和灰度级的关系。以灰度级为横坐标，频率为纵坐标，绘制直方图。是图像的一个重要特征，反应了图像灰度分布的状况。
性质：只能反映灰度分布情况，不能反应图像像素的位置，丢失了像素的位置信息。一幅图像，多个区域的直方图之和为原图像的直方图。
应用：判断图像量化是否恰当；用于确定图像二值化的阈值。

2024.2.8

• Opencv图像形态学处理

1、膨胀
图像膨胀主要针对的是阈值化后的图像（0或255）。图像膨胀类似于“领域被扩张”，将图像中的高亮区域或白色部分进行扩增粗化，其运行结果图比原图的高亮区域更大。其原理是：将核在原始图像中进行遍历，然后将原始图像遍历到的像素点的值与自定义卷积核(全为1的二维矩阵)得值进行与运算，像素点与对应核一 一对应进行与，当卷积核对应的元素值只要有一个为1时，设置卷积核中心值的像素点为1，如果全为0，,则其值设置为0

2、腐蚀

图像腐蚀主要针对的是阈值化后的图像（0或255）。图像腐蚀类似于“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。其原理是：将核在原始图像中进行遍历，然后将原始图像遍历到的像素点的值与自定义卷积核(全为1的二维矩阵)得值进行与运算，像素点与对应核一 一对应进行与，当卷积核对应的元素值均为1时，设置卷积核中心值的像素点为1，否则其值设置为0

3、开运算基本原理

图像开运算是图像依次经过腐蚀、膨胀处理后的过程。图像被腐蚀后，去除了噪声，但是也压缩了图像；接着对腐蚀过的图像进行膨胀处理，可以去除噪声，并保留原有图像。

开运算实际是先腐蚀运算，再膨胀运算，把看上去把细微连在一起的两块目标分开了。

一般来说，开运算可以使图像的轮廓变得光滑，还能使狭窄的连接断开和消除细毛刺。开运算在过滤噪声的同时并没有对物体的形状、轮廓造成明显的影响，这是一大优势。当只关心物体的位置或者个数时，物体形状的改变不会给任务带来困扰，此时用开运算处理具有处理速度上的优势。

4、闭运算基本原理

闭运算是开运算的相反操作，先膨胀运算，再腐蚀运算，处理后的图片看上去将两个细微连接的图块连接在一起。

闭运算同样可以使得图像变得光滑，并且能够填平图像中的凹陷（即小孔），弥合小裂缝，而图像中目标的位置和形状可以保持不变。因此在图像去噪中，闭运算也是常用操作。

开运算、闭运算在 OpenCV 中可以使用形态学滤波函数morphologyEx()来进行。函数原型为：cv2.morphologyEx(src, op, kernel)

5、顶帽运算
图像顶帽运算通常用来解决由于光照不均匀图像分割出错的问题
提取图像中的线噪声(例如直线噪声和曲线噪声，对点噪声提取效果不大或者说是无作用)
1）原理
图像顶帽（或图像礼帽）运算是原始图像减去图像开运算的结果，得到图像的噪声
2）原理公式如下
顶帽运算(img) = 原始图像(img) - 开运算(img)

6、黑帽运算
图像黑帽运算通常用来获取图像内部的小孔或前景色中黑点
也常用于解决由于光照不均匀图像分割出错的问题
1）原理
图像黑帽运算是图像闭运算操作减去原始图像的结果，得到图像内部的小孔，或者前景色中的小黑点
2）原理公式如下
黑帽运算(img) = 闭运算图像(img) - 原始图像(img)

7、梯度运算

1）原理
图像梯度运算是膨胀图像减去腐蚀图像的结果，得到图像的轮廓
2）计算公式
梯度运算(img) = 膨胀(img) - 腐蚀(img)