基于FPGA的数字图像处理学习笔记一

一，图像处理基础

（1）图像采样

为了产生一幅数字图像，我们需要把连续的感知数据转换为数字形式，这个转换的过程被称为图像采样和量化。

采样频率是指1秒内采样的次数，它反映了采样点之间的间隔大小。采样频率越高，得到的图像样本越逼真，图像的质量越高，但要求的存储量也越大。

根据信号的采样定理，要从取样样本中精确地复原图像，可得到图像采样的奈奎斯特定理：图像采样的频率必须大于或等于源图像最高频率分量的两倍。

（2）图像量化

量化是指要使用多大范围的数值来表示图像采样之后的第一个点。量化的结果是图像能够容纳的颜色总数，它反映了采样的质量。

（3）数字图像处理

1，图像变换。由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此，往往采用各种图像变换的方法，例如傅里叶变换，沃尔什变换，离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可以减少计算量，而且可获得更有效的处理。

2，图像编码压缩。图像编码压缩可以减少描述图像的数据量，以便节省图像传输，处理时间和减少所占用的存储器容量。

3，图像增强和复原。图像增强和复原的目的是为了提高图像的质量。

4，图像分割。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征包括图像中的边缘，区域等，这是进一步进行图像识别，分析和理解的基础。

5，图像描述。图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特征描述物体的特性，一般图像描述方法采用二维形状描述。他有边界描述和和区域描述两类方法。对于特殊的纹理图像可以采用二维纹理特征描述。

6，图像分类（识别）。图像分类属于模式识别的范畴，其主要内容是图像经过某些预处理后，进行图像分割和特征提取，从而进行判决分类。

二，数字图像处理系统

（1）图像处理系统的构成

一个典型的图像处理系统由图像传感器，图像编码，图像处理器，显示设备，存储器设备及控制设备几大部分组成。

1，图像传感器。图像传感器负责采集光照信息，常用的图像传感器有CCD和CMOS等。

2，图像编码。图像编码负责对图像传感器输出的图像进行采样和量化，将图像变换为适合图像处理器处理的数字形式。然后，将编码后的结果送入图像处理器进行进一步的处理。

3，图像处理器。图像处理器是整个图像处理系统的核心，图像处理器将以取样和量化的结果作为数据源，根据图像处理任务的需求，对图像进行一系列的变换。

4，显示设备。显示图像。

5，存储设备。存储图像。

6，控制设备。不一定必需，一般用于自动化控制。

（2）原始图像的获取

基本原理：入射光子通过光电效应使硅半导体之内的电子得到释放，这些电子在曝光时间之内被累加，然后被转换为电压后读出。

1，可见光传感器

可见光传感器有CCD传感器和CMOS传感器，CCD传感器又分为面阵CCD，线列CCD,三线传感器CCD,交织传输CCD,全幅面CCD.CMOS传感器又分为被动式像素结构（无源式），主动式像素结构（有源式），填充因数。

2，CCD和CMOS的区别

CMOS针对CCD最主要的优势就是非常省电。CCD与CMOS传感器是普遍采用的两种图像传感器，两者都是利用感光二极管进行光电转换，将图像转换为数字数据，而其主要差异就是数字数据传送的方式不同。

CCD传感器中每一行中每一个像素的电荷数据都会依次传送到下一个像素中，由最底端部分输出，再经过传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个像素都会邻接一个放大器及A/D转换电路，用类似内存电路的方式将数据输出。

灵敏度的差异；成本的差异；分辨率的差异；噪声的差异；功耗差异；

总之，CCD传感器在灵敏度，分辨率，噪声控制等方面都优于CMOS传感器，而CMOS传感器则具有低成本，低功耗及高整合度的特点。

3，其他传感器

（3）色彩分离技术

不管采用什么技术，传感器阵列上的所有感光点都是对灰度级强度敏感的，灰度级从最暗（黑色）到最亮（白色）。这些感光点对于灰度级敏感的程度被称为“位深度”。

实际中常见的色彩分离技术主要是拜尔分离技术。

为了恰当的描绘彩色的图像，传感器需要每个像素位置有3个颜色样本----最常见的是红色，绿色和蓝色。

为了避免某像素输出过大的字节，一个常用的压缩方法是使用颜色过滤阵列。这个阵列仅仅测量像素点的一个分量。然后，通过图像处理器对其进行插值得到其他颜色的分量，这样看起来“好像”每个像素点测量了三种颜色。

当今最流行的CFA是拜尔模式，其原理是利用人眼对绿色的分辨率高于对红色和蓝色的分辨率这一事实。在拜尔颜色过滤矩阵里，绿色的过滤点数是蓝色或红色过滤点数的2倍。这就产生了一种输出模式，也就是4:2:2格式，即每发送2个红色像素和2个蓝色像素就要发送4个绿色像素。

（4）色彩空间

1,RGB（红绿蓝）

2，CMY和CMYK（青，品红，黄）

3，HIS（色调，饱和度，亮度）

4，YUV（亮度信号，B-Y色差信号，R-Y色差信号）

5，YCbCr（亮度分量，蓝色色度分量，红色色度分量）

三，图像传感器接口

一方面，CMOS传感器通常会输出一个并行的像素数据流，格式一般为RGB或者YCbCr，同时还有场行同步信号和一个像素时钟。有时候，也可以用外部时钟信号及同步信号来控制传感器数据的输出。

另一方面，由于CCD传感器直接输出模拟信号，因此，在进一步对其进行处理之前，需要先将模拟视频转换为数字视频。

四，图像处理流水线

传感器输出模块通常包括传感器，前置放大器，自动对焦，预处理，时序控制等；

后处理模块通常包括目标检测与跟踪，智能视频分析等高级图像处理任务。

1，机械反馈控制

2，自动对焦

3，预处理

4，滤波与图像补偿

5，白平衡

6，拜尔插值

7，色彩转换

五，图像与视频压缩

图像压缩是指以较少的比特有损或无损表示原来的像素矩阵的技术，也称为图像编码。图像数据之所以能被压缩，就是因为数据 中存在冗余。图像数据的冗余主要哦表现如下：图像中相邻像素间的相关性引起的空间冗余，图像序列中不同帧之间存在相关性引起的时间；不同彩色平面或频谱带的相关性引起的频谱冗余。

数据压缩的目的就是通过去除这些数据冗余来减少表示数据所需的比特数。

（1）图像压缩

1，JPEG

2，JPEG 2000

3，GIF

4，PNG

（2）视频压缩

所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。

1，H.261

2,MPEG-1

3，H.262

4，H.263

5，MPEG-4

6，H.264

7,H.265

8,AVS

9，WMV

10，REAL VIDEO

六，视频显示处理

（1）去隔行处理

1，隔行和逐行扫描

隔行扫描就是将每帧图像进行“交错”排列或分为两场，一个由奇数行扫描线构成，而另一个由偶数行扫描线构成。单个扫描线的帧刷新频率设定为约30（25）帧/秒。于是，大片图像区域的刷新率为60（50）帧/秒，而局部区域的刷新率为30（25）帧/秒。

隔行扫描会产生闪烁现象，而且，当画面中存在运动物体时，把隔行场转换为逐行帧（即解交织过程），会产生锯齿边缘。解交织过程非常重要，因为视频帧作为一系列相邻的线来处理，这将会带来更高的效率。

2，去隔行

将奇数行和偶数行交织排列在存储中，而不是分别位于两个分离的视场缓冲区中。去隔行处理有很多种方法，包括行倍增，行平均，中值滤波和运动补偿。

（2）扫描速率转换

确保输入的帧速率与输出显示的刷新速率相匹配。为了实现两者的均衡化，可能需要丢弃场或者复制场。

（3）色度采样

1，色度下采样

人眼对于亮度的敏感能力要优于对色差的敏感能力。YUV颜色系统允许我们将更多的注意力投向Y，而对U和V的关注度不那么高。于是，通过对这些色度值进行子采样的方法，视频标准和压缩算法可以大幅度缩减视频带宽。

YUV采用A:B:C表示法来描述Y,U,V采样频率比例。

1.1 4:4:4表示色度频道没有下采样，即一个Y分量对应着一个U分量和一个V分量

1.2 4:2:2表示2:1的水平下采样，没有垂直下采样，即每两个Y分量共用一个U分量和一个V分量。

1.3 4:2:0表示2:1的水平下采样，2:1的垂直下采样，即每四个Y分量共用一个U分量和一个V分量。

1.4 4:1:1表示4:1的水平下采样，没有垂直下采样，即每四个Y分量共用一个U分量或一个V分量。

2，色度重采样

在对颜色空间转换时，需要对色度进行重采样。一个简洁的再采样方法是从最邻近的像素上借助简单的平均化方法插值出缺失的色度值。也就是说，在一个像素点上缺失的Cb值将被最接近的2个Cb值得平均值所取代。只有水平下采样，就使用一维滤波器，既有水平下采样，又有垂直下采样，就使用二维卷积内核。

（4）缩放与剪切

视频缩放可以生产一路分辨率与输入格式的分辨率不同的输出流。

1，增加或减少每行的像素数量。

2，增加或减少每帧的行数。使用某种垂直滤波方案。

（5）其他显示处理

1，ALPHA混合

2，合成操作

3，色度键控

4，输出格式化