调查报告——FPGA 与图像处理

数字图像处理是指将图像信号转换成数字信号并对其进行处理的过程。数字图像处理在当代社会发展中发挥着不可替代的作用，它广泛应用于几乎所有与成像有关的领域，如航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等。随着低成本的高集成度图像传感器件和数字硬件的快速发展，数字图像处理技术正在向着高质量、高速度、高实时性的方向发展

    数字图像处理主要分为硬件处理和软件处理。其中软件处理已经发展的相当成熟，且有很多成熟的图像处理软件投入应用，如Photoshop CS, MATLAB, VisualC++等，其优点是灵活、方便、精度高，比较适于处理静态图像。基于主机丰富的存储资源和强大的处理能力，图像的变换、编码压缩、增强和复原、分割、描述、分类等处理算法都已能很好的实现，并且还在不断的优化和改进。但是软件处理属于事后处理，达不到图像实时处理的要求，这主要是因为动态视频图像到达计算机内存的传输时间较长，以及计算机串行指令系统在处理海量数据时速度达不到实时处理的要求。因此，对于软件结合计算机的图像处理方法，人们关注更多的是如何实现各种图像处理的算法和相关边缘学科的研究。

    由于软件处理方法在实时性上的缺陷，采用硬件来实现复杂的图像处理算法越来越多的得到重视。近年来，随着数字硬件技术的飞速提高，许多功能强大的数字芯片系统相继问世，常见的数字芯片系统有两种，一是全定制的专用集成电路(ASIC，二是半定制的数字信号处理器(DSP)以及现场可编程门阵列(FPGA它们在设计中的应用都可以大大加快对信息的处理速度。用硬件系统来实现图像处理算法有着独特的优势，因为它支持并行指令操作，使得图像并行处理技术得到很好的应用和发挥。图像并行处理技术将运算操作在“时间”上的叠加转换到运算电路在“空间”上的并行结构拓展，从而有效的提高图像处理速度，它的基本思想是并行性概念，以并行处理器结构和并行处理算法为基础。显然，基于并行处理技术的硬件图像处理系统在解决图像处理实时性方面有着独特的优势，因此相关的研究也正在广泛开展。

    采用硬件处理系统来进行图像处理，首先需要对采集的图像缓冲存储，然后执行处理算法，显示处理后的输出图像，软件处理系统不同，硬件处理系统的存储和处理资源有限，而且没有可以调用的各种函数库和工具包，能够执行的只是简单的加减乘除等基本运算，所以要将软件平台上业已成熟的图像处理算法移植到硬件上来实现，必须先把算法程序转换成可执行的简单运算的集合，同时还要控制算法的规模，以免占用太多的芯片资源。另外，并行处理算法对彩色图像处理时，红绿蓝三个颜色通道是独立处理的，因此，为了避免算法在不同颜色通道上的相关性对处理结果产生颜色畸变等影响，在选择算法的时候，只能考虑基于图像空域运算的算法。

    硬件图像处理系统的研究主要集中在算法的选择和转换、处理器选择、存储器选择、芯片级数据接口设计等方面。算法选择方面，现在单个算法的在硬件上实现已经有很多设计方案，比如中值滤波、边缘检测、图像放大等等，但是出于存储器空间有限或芯片资源有限，大多研究者在实验中采取的都是灰度图像，而且完整的图像采集处理系统设计很少。存储器的选择现在主要有两种，即静态随机存储器((SRAM)和同步动态随机存储器((SDRAM ) o SRAM的优点是速度快，不需要配以刷新电路，数据不会丢失，但是其集成度低，功耗较大;SDRAM的优点是集成度高，容量大，但是需要配以动态刷新电路进行不断的刷新来保存数据，速度相对SRAM较慢。对于图像实时预处理这种数据量大的应用来说，选择SDRAM的偏多，而且随着工艺技术的改进，现在SDRAM的工作频率已经完全能够满足图像预处理的要求。芯片级数据接口设计主要负责图像采集、缓存、处理、显示各个模块之间的数据传输连接设计。

至于处理器选择要结合各种芯片的特点和应用需求综合考虑。专用集成电路(ASIC)是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。ASIC的特点是可靠性高、性能好、面向特定用户需求、品种多。但是ASIC在实际应用中也有缺点，它的开发周期比较长，成本也相应较高，因此，出于作为开发平台的考虑，ASIC并不是一个理想的选择。数字信号处理器(DSP内部采用哈佛结构[m，特别适合数据处理。DSP采用专用硬件电路实现一些常用的运算，所以它进行这些运算速度非常快，如乘累加(MAC)运算只需要一个时钟周期。但是从根本上说，DSP只是对某些固定的运算提供硬件优化，其体系仍是串行指令执行系统，在处理海量数据时显得不足，这使得它在图像的实时预处理上的应用受限。可编程逻辑门阵列(FPGA)是当今应用极为广泛的可编程逻辑器件，它支持静态重复编程和动态在系统重配置，大大提高了系统设计的灵活性和通用性。FPGA可以用内部乘法器、寄存器、内存块构造软核，例如若构造成DSP,就能实现DSP的功能;FPGA在高速信号处理应用中，能在设计上实现硬件并行和流水线技术[fgl，大大提高处理速度，甚至可以超过目前最快的DSP o  基于上述分析，用硬件来实现图像处理算法已经成为一个重要趋势，必将在图像处理技术领域得到广泛的应用。在硬件图像处理系统的设计中，采用基于可编程逻辑门阵列(FPGA)的开发平台，可以充分发挥其硬件并行和流水线技术上的优势，以及设计灵活性好、开发周期短等特点，从而大大提高图像数据的处理速度，达到系统的实时性要求。在图像实时采集与预处理系统中，采用FPGA取代计机，能够很好的解决系统体积、成本、速度、灵活性等实际应用中遇到的问题，因此具有一定的研究潜力和广阔的应用前景。

    随着FPGA的制造工艺和集成技术的发展，采用FPGA的数字硬件系统越来越凸显其在实时图像处理领域的强大优越性，国内外关于基于FPGA的图像处理技术已经展开广泛的研究，有些甚至已经投入实际应用。 口本三洋电机公司在其新一代VCC-WD390宽动态范围监控摄像头中采用了Xilinx公司低成本的Spartan-3A FPGA器件。该器件不仅集成了专用DSP模块，与逻辑门加乘法器的实现方案相比，逻辑资源使用效率平均提高70 070，同时支持专有高性能算法，而且无需额外的协处理器芯片即可达到与ASIC相当的性能。该摄像头还采用提供高质量图像的宽动态范围CMOS图像传感器，既提供高分辨率影响功能，还支持宽动态范围，能在光线昏暗及明亮的环境中获得清晰的图像。

 2008年7月加拿大Concordia大学的S. An等人提出一种二维离散余弦变换CDCT)的递归算法[f9l，并在FPGA上实现和验证。他们通过对现有的算法进行数学重组，从而实现在运算过程中只需要计算一维DCT，省去了一维离散正弦变换(DST)的计算，这使得递归运算核中的乘加运算量大大减少，即更适于硬件实现。实验结果证明，该递归运算核只需要4个乘法器和3个加法器，同时还缩短了执行周期。二维DCT在图像处理中有着广泛的应用，特别是对于相关系数比较大的图像压缩编码，采用二维DCT可以达到很好的效果。他们提出的算法不仅可以进行图像的DCT运算，还可以进行图像的DST运算，而且与现有算法相比，们的方法可以节省2.5%的硬件资源，同时将执行周期缩短17 070，具有很高的研究价值。