第一章 计算机视觉概述

《计算机视觉开发实战 基于Python》 朱文伟,李建英 著

1.1 图像的基本概念

图像和图形

1. 图像是输入设备捕捉的实际画面产生的数字图像，由像素点构成的位图。
2. 图形是用数学规则产生的或具有一定规则的团，由外部轮廓线条构成的矢量图，往往用一组符号或线条来表示。

数字图像及其特点

1. 数字图像又称数码图像或数位图像，是二维图像用有限数值像素的表示。由数组或矩阵表示，其光照位置和强度都是离散的。数字图像由模拟图像数字化得到，以像素为基本单位。
2. 特点
   • 信息量大：512 * 512个像素点(8bit)组成，256KB
   • 占用频带宽大：语言带宽的4倍
   • 相关性大 ：图像中相邻像素点具有很大相关性
   • 非客观性：与环境条件、视觉特性、情结、精神状态等有关

图像的单位

1. 像素是数字图像的基本元素，像素越多，图像越清晰。
2. 像素是在模拟图像数字化时对连续空间进行离散化得到的，每个像素具有整数行高和列宽位置坐标，同时每个像素都具有整数灰度值或颜色值。
3. 像素的大小是没有固定长度的，不同设备上一个单位像素色块的大小是不一样的。

图像的分辨率与屏幕分辨率

1. 图像分辨率是指每英寸图像内的像素点数，单位是像素每英寸。分辨率越高，图像越逼真
2. 屏幕分辨率是屏幕每行的像素点数乘以每列的像素点数。

图像的灰度与灰度级

1. 把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度分为256阶，0为黑色。灰度即没有色彩，RGB色彩分量全部相等，如RGB(100, 100, 100)代表灰度为100。
2. 一副图像中不同位置的亮度是不一样的，可用f(x, y)来表示(x, y)上的亮度。光是一种能量形式，因此亮度为非负有限值。
3. 在单色图像中，坐标(x, y)点的亮度成为该点的灰度或灰度级。设灰度为L，则L_min ≤ L ≤ L_max， 间隔称为灰度范围。
4. 灰度级表明图像中不同灰度值的最大数量。灰度级越大，图像亮度范围越大。
5. 灰度(值)表示灰度图像单个像素点的亮度值，值越大，像素点越亮，反之越暗。

图像的深度

• 图像的深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。
• 图像深度确定色彩图像的每个像素可能有点颜色数，或灰度图像中每个像素可能有的灰度级数。
• 例：一副彩色图像RGB三个分量的像素位数分别为4，4，2，则最大颜色数目为2的8次方，1024，即像素的深度为10位，每个像素可以是1024种颜色中的一种。

二值图像、灰度图像与彩色图像

二值图像

• 每个像素只有两种可能的取值或灰度等级状态，可用黑白，B&W、单色图像表示。
• 每个像素只需要1bit即可完整存储信息，同样尺寸的图像，二值图像保存到信息更少。

灰度图像/灰阶图像

• 用灰度表示的图像，二值图像与彩色图像的中间版本。
• 灰度图像只包含一个通道的信息，彩色图像通常包含三个通道的信息，单一通道可以理解为单一波长的电磁波，so红外遥感、X断层成像等产生的图像均为灰度图像
• 灰度图易于采集和传输，导致了基于灰度图像开发的算法非常丰富
• 灰度图像是每个像素只有一个采样颜色的图像，但不同于黑白图像，灰度图像在黑白之间还有许多级的颜色深度。

彩色图像

• RGB图像，每个像素由3个通道进行表示，通常由红绿蓝表示，分量介于(0, 255)

通道

通道表示把图像分解成一个或多个颜色成分，通常可以分为单通道、三通道和四通道。

• 单通道：一个像素点只需要一个数值表示。只能表示灰度，0为黑色。
• 三通道：把图像分为红、绿、蓝三个通道，可表示彩色，0为黑色。
• 四通道：在RGB基础上加上alpha通道。alpha通道表示透明度，0为全透明。

图像存储

• 用MN的矩阵表示一副尺寸大小为MN的数字图像，矩阵元素的值就是该图像位置上对应的像素值。三通道图像的数据在内存中的存储是连续的，每个通道元素按照矩阵行列顺序进行排列。
• 通常计算机按照RGB方式存储，图像采集设备输出图像格式一般为BGR格式。

1.2 图像噪声

图像噪声的定义

1. 一般图像噪声是不可预测的随机信号，只能用概率统计的方法去认识
2. 图像噪声是指图像中的随机、不希望的、影响观感和质量的像素值变化。这些变化可以是由于电子噪声、照明条件、图像传输或图像捕捉设备的性能等因素引起的。
3. 图像噪声会使图像细节和轮廓模糊不清，降低图像的清晰度、对比度和色彩鲜艳度，从而影响视觉体验和信息提取。
4. 数字图像的噪声主要来源于图像获取的数字化过程。

图像噪声的来源

外部噪声：

• 系统外部干扰以电磁波或经电源串进系统内部而引起的噪声，如电气设备、天体放电等引起的噪声

内部噪声：

• 光电的基本性质所引起的噪声
• 电器的机械运动产生的噪声
• 器材材料本身引起的噪声
• 系统内部设备电路引起的噪声

图像噪声的滤除

• 通过图像平滑可以有效地减少和消除图像中的噪声，以改善图像的质量，有利于抽取对象特征进行分析。
• 经典的平滑技术对噪声图像使用局部算子，进队他的局部小邻域内的一些像素进行处理，有点事计算效率高，且可以对多个像素并行处理。

图像噪声的滤除——chatGTP回答

图像噪声的滤除是数字图像处理中的一个重要任务，目的是去除噪声，提高图像的质量和清晰度。下面介绍一些常用的图像噪声滤除方法：

1. 均值滤波
   均值滤波是一种简单的线性平滑滤波方法，其原理是将像素周围的邻域内的像素值取平均值，用平均值来代替中心像素的值。均值滤波能够消除噪声，但会对图像细节造成一定程度的模糊。

2. 中值滤波
   中值滤波是一种非线性滤波方法，它将像素周围的邻域内的像素值进行排序，取中间值作为中心像素的值。中值滤波能够有效去除椒盐噪声和脉冲噪声等随机噪声，对于保留图像边缘和细节有较好的效果。

3. 高斯滤波
   高斯滤波是一种线性平滑滤波方法，它基于高斯函数的权值进行滤波，具有消除高频噪声和保留图像细节的特点。高斯滤波的主要优点是它可以在平滑图像的同时保留图像的边缘和细节，但它可能会在滤波时降低图像的对比度。

4. 双边滤波
   双边滤波是一种非线性滤波方法，它可以同时平滑图像和保留图像细节和边缘。它使用两个高斯分布，一个用于平滑图像，一个用于平滑图像中像素之间的差异，从而保留图像的细节和边缘。

5. 小波变换
   小波变换是一种基于频率分析的方法，它能够在时域和频域之间进行转换，从而消除噪声。小波变换可以对图像进行多尺度分解，将高频和低频信号分离，然后对高频信号进行降噪处理。

总的来说，不同的图像噪声滤波方法适用于不同类型的噪声和不同的应用场景。在实际应用中，需要根据具体情况选择合适的方法来去除噪声，同时需要注意保留图像细节和边缘。

1.3 图像处理

图像处理的分类

• 光学模拟处理
• 电学模拟处理
• 计算机数字处理

数字图像处理

1. 图像信息的获取
   一般包括图像的摄取、转换及数字化，该部分主要由处理系统硬件完成。
2. 图像信息的存储与交换
   数字图像信息量大，并且在处理过程中必须对数据进行存储和交换，该功能主要由硬件完成。
3. 具体的图像处理

• 数字图像处理指把在空间上离散、在幅度上量化分层的数字图像经过一些特定数理模式的加工处理，达到有利于人眼视觉或某种接收系统所需的图像过程。
• 具体方法：图像变换、图像编码压缩、图像增强和复原、图像分割、图像描述、图像分类识别和图像重建等。

4. 图像的输出和显示
   一般图像输出方式可分为硬拷贝（照相、打印、扫描）和软拷贝（平板监视器）。

数字图像处理常用方法

1. 图像变换

• 由于图像阵列很大，直接在空间域中处理计算量很大，往往采用图像变换的方法，将空间域处理转换为变换域处理，不仅减少计算量，还可更有效的处理。
• 图像编码压缩技术可减少描述图像的数据量，压缩可在不失真的前提下获得，也可在允许失真的条件下进行。

2. 图像增强
   • 目的是为了提高图像质量，如去噪声、提高图像清晰度等。
   • 一个数字图像处理系统来讲，处理流程可分为3个阶段：图像预处理阶段、特征抽取阶段、识别分析阶段。图像增强是预处理阶段的重要步骤。
   • 图像增强的主要内容是突出图像中感兴趣的部分，减弱或去除不需要的信息。
   • 图像增强就是增强图像中用户感兴趣的信息，主要两个目的：一是改善图像的视觉效果，提高图像成分的清晰度；二是使图像变得更有利于计算机处理。
   • 图像增强指利用各种数学方法和变换手段，提高图像中感兴趣区域与背景的对比度与图像清晰度，更明显的突出感兴趣的区域。
     (1) 空域法
     直接在空间域内对图像进行运算处理，分为点运算算法和邻域去噪算法。
     (2) 频域法
     利用图像变换方法将原来的图像空间中的图像以某种形式转化到其他空间去，利用该空间的特有性质进行图像处理，最后转换回原来的图像空间。频域法增强技术的基础是卷积理论。
     

图像分割

将图像中有意义的特征部分提取出来，包括图像中的边缘、区域等

图像描述

图像描述是图像识别和理解的必要前提。
一般图像的描述方法采用二维形状描述：

• 边界描述
• 区域描述

图像分类/识别

图像分类属于模式识别范畴，主要内容是图像经过预处理后进行图像分割和特征提取，进行判决分类。

图像重建

一些三维物体，取得物体内部结构数据，将数据进行运算处理构成物体内部某些部位的图像。