基于FPGA的电子稳像平台的理论研究

目录

1. 接口 

2.去隔行支持 

3.帧存控制器 

4.VGA接口控制器 

5.整体结构

---

       基于FPGA的电子稳像平台是一种利用现场可编程逻辑门阵列（Field-Programmable Gate Array）实现的图像稳定技术，广泛应用于监控、无人机、手持设备等领域。电子稳像技术通过分析连续帧间的运动信息，对图像序列进行处理，以消除因相机抖动或平台移动引起的图像模糊，从而获得清晰稳定的视频画面。

       稳像系统的反应速度是电子稳像要解决的关键技术之一。传统的基于“摄像机-图像采集卡-计算机”模式的稳像系统、图像检测和匹配算法全部由计算机以软件方式实现。尽管当今计算机的性能很高，能够部分满足单传感器电子稳系统的实时处理要求，但在以下几个方面有着难以解决的问题：首先，其固有的串行工作方式使得单计算机难以适应其于多传感器视频处理系统的实时稳像，阻碍了在实际中的应用adw欠，传统的图像采集卡中能将采集图像数据实时传输给计算机，而不能传输给标准接口的视频监视设备lk之很多应用场合对听要求很高。因此，研制专用的电子稳像平台，既能实时地高速获取视频数据，又能将数据实时地传后续的图像处理系统，既有实际意义又有工程价值。 

       摄像头输入的PAL制式电视信号首先通过视频处理接口完成对其解码、同步和数字化的工作，数字化后的图像信息进入到由FPGA实现的帧存控制器中，完成数据的交换（数据的缓冲），同时完成系统要求的去隔行和放大的操作，最后处理好的数据通过VGA控制器，完成时序变化，经视频、A变为模拟信号送到VGA监视器上实时显示。

1. 接口 

      由于在进行视频处理时，多为从摄像头输入模拟信号，如NTSC或PAL制式电视信号，除图像信号外，还包括行同步信号、行消隐信号、场同步信号、场消隐信号以及槽脉冲信号等。因而对视频信号进行A/D转换的电路也非常复杂。Philips公司将这些转换电路集成到了一块芯片中，从而生产出功能强大的视频输入处理芯片SAA7111，为视频信号的数字化应用提供了极大的方便。 
       系统设计采用SAA7111对复合信号进行采样、同步产生、亮色分离并输出标准的数字化信号。SAA7111输出的数字化图像信息符合CCIR.601建议，PAL制式的模拟信号数字化后的图像分辨率为720×572，像素时钟13.5MHz。在本稳像系统中要求图像输出符合VGA（640×480，60Hz）标准，因此在采集数据时要对数据进行选择，避开行、场消隐信号和部分有效像素信息，在较大的图像中截取所需要的大小。SAA7111向帧存控制电路输出像素时钟（LCC2）、水平参数（HREF）、垂直参考（VREF）、奇偶场标志信号（ODD）和16位像素信息（RGB565）.其中LCC2用来同步整个采集系统；HREF高电平有效，对应一行720个有效像素；VREF高电平有效，对应一场信号中的286个有效行；ODD=1时，标志当前场为奇数场；ODD=0时，标志当前场为偶数场。采用16位RGB表示每个像素的彩色信息。图1（a）为数字化图像中的一行像素的时序图。其中两个HREF分别表示有效行的起始与结束位置，实际为一个信号；可以清楚地看到一行中有效的720个像素与像素时钟LLC2的对应关系，在采集时通过帧存器控制电路选择其中部的640个像素进行采集。图1（b）为一帧数字图像的输出时序图。可以看到在第624～22行时，VREF处于无效状态，因此在后续的采集中，这部分的信息不予处理并通过ODD的电平区分奇偶场数据。 

2.去隔行支持 

        PAL制电视信号采用隔行扫描机制，采用人眼的视觉暂留来实现两场1/50s扫描312.5行的图像构成625行（一帧）图像。而标准的VGA显示模式采用逐行扫描方式，在一个扫描周期内实现对图像的完全扫描。因此需要对视频信号进行去隔行处理。视频信号在经过缓冲后，按照取样时钟把经过模数转换的数字信号送入存储器缓存，通过数据内插的方法进行数据扩展，即相邻行之间按照一定的算法进行加权，从而得到内插行的数据，再以适当的速度读取处理后的数据，即可实现倍行频/倍场频的扫描。倍行频扫描可以消除行间的闪烁现象，倍场频扫描虽然行扫描频率不变，但是场频加倍，即能消除行间闪烁现象，还可以消除场间的大面积闪烁。去隔行问题的实质就是在每一场中填补被跳过的那些行，其过程如图2所示。 

        实际上为实现去隔行已经提出了很多简单的滤波器。一种选择是用同一场中的垂直内插值，这是个一维二倍上转换的问题。理想的垂直滤波器是一个半带低通滤波器。然而，这个滤波器要求无限长度冲击响应是不可实现的。实际应用中使用的是短得多的滤波器。最简单的是行平均，它用丢失行的上一行和下一行的平均来估计该丢失行。在图2中，对于第t场，D=(C+E)/2。由于没有使用时域滤波，所以它沿时间频率轴具有全通特性。为了改进性能，另一种选择是使用更长的垂直内插滤波器，其频率响应更接近理想的半带低通滤波器。对于第t场的行，满意的内插方法是D=(A+7C+7E+G)/16。以上两种方法都是只用了垂直内插。一种替代方法是使用时间内插。值得注意的是，对于一场中每个丢失行，在同一帧的另一场中有一个对应行。一个简单的时间内插方案是复制此对应行，即D=K，J=C。这种方法称为场合并。因为每一个去隔行帧都由合并两场获得,但是这两场的时间内插是相反的（对于某些特殊图案可能会产生视觉人为失真）。由于只在时间方向上进行了滤波，因此在垂直方向上是全通的。 

3.帧存控制器 

       帧存储器是图像处理器与显示设备之间的通道，所有要显示的图形数据先存放到帧存储器中，然后再送到显示设备进行显示，因此帧存储器的设计是图形显示系统设计的一个关键。传统上，可以实现帧存储器的存储器件有多种，如DRAM、SDRAM及SRAM等。DRAM、SDRAM属于动态存储器，容量大、价格全家但速度较慢，且在使用中需要定时刷新。对于基于FPGA的视频处理器，需要设计专用的刷新电路，增加了系统设计的复杂程度。SRAM速度高、接口简单、容量较小。随着集成电路技术的不断发展，容量不断增大，价格也不断下降。在需要高速实时显示的视频处理系统中的使用越来越普遍。 

       帧存控制器的设计对于实现两种不同视频系统之间的图像信号的存储、采集和显示显得非常重要。为了保证数据处理与采集的连续，设计中使用了两组帧存储器（FRAM1、FRAM2），由于数字化的图像每帧大小为640×480=307200（16bit）共300K×16bit的数据量，笔者使用每组512K×16bit的静态存储器，存储时间为12ns，可以保证快速地读出和写入图像数据。图3为帧存控制器的逻辑框图。 

4.VGA接口控制器 

        标准的VGA（640×480，60Hz）接口需要提供以下几组信号：3个RGB模拟信号、行同步信号HS和场同步信号VS。它的信号时序如图所示。 

       图中VS为场同步信号，场周期为16.683ms，每场有525行，其中480行为有效显示行，45行为场消隐区，场同步信号每场有一个脉冲，该脉冲的低电平宽度为63μs（2行）。行周期为31.78μs，每显示行包括800点，其中640点为有效显示区，160点为行消隐区（非显示区）。行同步信号HS每行有一个脉冲。该脉冲的低电平宽度为3.81μs（即96个脉冲）。因此，VGA控制器的任务就是按要求产生所需要的时序。 
       DISCLK为视频显示时钟，频率为25MHz，首先输入到模等于800的像素计数器中，输出的计数值与一个预先设好的比较器进行比较，当计数器的值大于160时，输出高电平，反之输出低电平，作为行同步信号；同理，利用一个模等于525的计数器对行同步信号进行计数和一个阈值为45的比较器可以产生所需要的场同步脉冲VS。 

5.整体结构

      完整的电子稳像系统结构如图8所示。摄像头输入的信号采用PAL制式，经过视频处理接口后形成RGB565格式的数字视频信号和控制信息；帧存控制器作为整个平台的核心，在将数据写入帧存储器的同时，对数字化的图像信息进行去隔行处理，再将数据读出送往VGA控制器时进行放大变换。VGA控制器则负责将数据按照VGA标准时序送往显示器上。