例如， 胎儿性别屏蔽项目中，要对实时视频进行性别部位的 检测和屏蔽，若采用单DSP则会出现漏帧或视频不流畅；应用于高速运动物体跟踪时，单DSP无法实现实时运动物体跟踪，例如 汉王科技的运动检测和海康威视运动检测，都不能实时检测，即使检测也会出现漏检现象和视频不流畅。当处理4CIF或者更大图像时，单DSP的处理能力又会下降，虽然可以将图像缩小进行处理，但是缩小图像则会丢失一些重要的图像信息，使得智能识别准确率下降。
针对上述情况， 设计一种能够实现进行快速 信号处理和数据交换的实时图像处理系统很有必要。
1 系统结构
1.1 结构
系统功能：利用S3C6410进行数据整合、任务调度、人机交互；利用TMS320C6416进行算法运算；每个DSP与FPGA都是无缝连接。设计中利用FPGA实现的FIFO进行与DSP之间的高速数据传输以及ARM对多个DSP的任务调度处理等。
系统结构如图1所示。系统由1个ARM11处理器S3C6410(主 处理器)与4个TMS320C6416(720 Hz)(从DSP）通过FPGA(EP2C70~7)实现互联的ARM+多DSP的 嵌入式图像处理系统。所有的DSP都通过外部存储器 接口(EMIF)与FPGA无缝相连,每个DSP之间的数据传输是通过FPGA内部互联FIFO网络实现。
图2所示是一种互联的FIFO网络结构和高速数据传输网络结构。主处理器通过DMA数据访问模式与FPGA的双口FIFO连接，从而实现与FPGA通过FIFO连接的所有从DSP进行通信，所有FIFO都是双向的，FIFO及其读写控制逻辑都在FPGA内部实现。
FPGA中的FIFO读写状态控制、各从DSP之间通信的同步握手信号、S3C6410处理器数据请求等逻辑信号，都是由每个DSP的一部分GPIO口与EP2C70的I/O口连接实现。
1.2 特点
系统结构具有可重构特性,在硬件平台不变情况下，只需通过改变FPGA程序代码就可以完全改变系统结构，以适应不同的算法结构。如图2中屏蔽DSP1~DSP4之间的互相通信，即可组成主从并行的流水线结构；若需要串行的流水线结构，只需将DSP1~DSP4的其中一个与S3C6410通信即可；若需要设计更复杂的串并混合性结构,也只需改变FPGA的代码就能够很容易地实现。
2 S3C6410的DMA与FPGA的软FIFO
接口实现
2.1 S3C6410简介
S3C6410是三星公司的产品采用ARM1176JZF-S核,包含16 KB的指令数据Cache和16 KB的指令数TCM；ARM Core电压为1.1 V时，可以在553 MHz下运行。在1.2 V时，可以在667 MHz下运行。通过AXI、AHB和APB组成的64/32 bit内部总线与外部模块相连。SROM Controller:6个片选,支持SRAM、ROM和NOR Flash以及支持8/16 bit，每个片选支持128 MB。JPEG Codec:支持JPEG编解码功能,最大尺寸为4 096×4 096。2D GRAPHICS：2D加速，支持画点/线，bitblt功能和Color Expansion。3D GRAPHICS：3D加速。
S3C6410可支持4个DMA控制器，用于系统总线内部或与外围总线之间的数据交换，每个控制器包含8个通道，支持8/16/32 bit传输。现以外部DMA请求为例简要介绍DMA的工作过程。图3所示为DMA基本工作时序。
当需要进行DMA操作时，外部DMA请求引脚XnXDREQ置为低电平。此时DMA控制器向CPU发出占用总线的请求，当总线请求成功后，XnXDACK引脚变为低电平，表示CPU已经将总线使用权交给DMA控制器，可以进行数据传输。当数据传输完成后，应答信号XnXDACK置为高电平，通知CPU完成一次DMA操作。
S3C6410提供了三种不同的DMA操作模式：单服务命令模式、单服务握手模式和全服务握手模式。在利用DMA进行数据传输前必须对其相关寄存器进行设置，包括源地址寄存器、目的地址寄存器和各自的控制寄存器以及配置DMA模式的控制寄存器等。
2.2 FPGA及其实现FIFO[2]
采用FPGA 实现多时钟电路系统时,需要处理不同的时钟域之间速率匹配问题,可利用FPGA内部生成的异步FIFO来处理。异步FIFO主要由双端口RAM、写地址产生模块、读地址产生模块、满空标志产生模块组成。双端口RAM由FPGA的Block RAM块构成,FPGA采用Atera公司的EP2C70-896C7，其Block RAM读写时钟频率可以达到216.73 MHz，因此选用Block RAM作为存储体，不仅速度快，而且设计简单。设计时，一个端口配置成写端口，另一端口配置成读端口，然后把Block RAM 的管脚与相对应的控制信号相接即可。读写地址通过FPGA芯片内部的二进制进位逻辑产生，以对应Read_En/Write_En作为使能信号在读/写时钟的控制下进行计数。空或满标志可以由读或写地址的相对位置来获得。本系统采用2个FIFO组成一路数据传输通道，双向FIFO的设计图如图4所示。
2.3 S3C6410的DMA与软FIFO接口实现
根据DMA接口原理，设计S3C6410与FPGA之间的接口简图如图5所示。
读时钟由ARM的时钟输出引脚CLKOUT0提供。CLKOUT0根据S3C6410内部寄存器的设置可以输出不同的时钟频率。FIFO输出数据经过以nGCS4为选通信号的缓冲器(Buffer)后接到S3C6410的数据总线上。nGCS4是S3C6410存储空间中BNAK4的片选信号，当S3C6410对该信号对应存储空间进行读写操作时，BANK4为低电平，其余时间均为高电平。
FIFO的写请求信号由S3C6410与FIFO的满状态共同控制。当S3C6410发出START信号并且FIFO未满时，写请求信号为高电平,FIFO在写时钟的控制下写入数据;当START信号撤销或者FIFO满时，写请求信号变为低电平，停止写操作。
FIFO的读操作与S3C6410的DMA操作配合进行。系统采用单服务命令模式的DMA操作，每次传输一个字节的数据。当DREQ0信号变为低电平时，DMA操作开始，每次传输一个字节后产生一个DACK0应答信号，而且只要DREQ0为低电平DMA操作就继续进行,直到DMA控制寄存器中的计数器为0，产生DMA中断。根据上述时序特点，将FIFO的空信号作为DMA的请求信号DREQ0。当CCD输出的数据写入FIFO中时，空信号跳变为低电平启动DMA操作，同时以DACK0信号作为FIFO的读请求。每次DMA传输完成后应答信号使FIFO的读指针移动一位，以实现数据的快速准确采集。
3 图像采集模块
用可编程视频输入处理器SAA7113H进行视频信号处理。SAA7113H内部集成了强大图像色度、亮度处理功能以及多种输出模式[3]；有32个工作寄存器，在系统复位时，必须通过I2C总线对其进行初始化。本系统使用灰度图像,没有使用色度信号,所以数据线为8 bit。SAA7113H与FPGA的接口如图6所示。
在本系统中，FPGA内部需要设计一逻辑时序完成图像数据的采集，数据的传输采用异步FIFO完成。采用此方案可以解决CCD输出数据频率与从DSP和ARM不匹配的问题。
4 DSP的EMIFA与FPGA实现的软FIFO接口
4.1 DSP的EMIFA接口[4-5]
DSP(TMS320DM6416T)之间的通信都是通过外部存储器接口(EMIFA)访问片外存储器进行的。EMIFA由64 bit数据线D[63:0]、20 bit地址线A [22:03]、 8 bit字节使能线BE[7:0]、4 bit地址区域片选线/CE3~/CE0和各类存储器的读/写控制信号组成。TMS320DM6416T 的每个
/CEx空间都有256 MB寻址空间,并且可配置为与SRAM、SDRAM、ZBTSRAM、Flash、FIFO等各类存储器接口。EMIFA读/写各类存储器的时钟可由软件配置为EMIF的AECLKIN、CPU/4或CPU/6。本设计配置为EMIF的AECLKIN，且为133 MHz。
4.2 EMIF与软FIFO接口实现
DSP之间通过EMIF口与FPGA实现的异步FIFO进行通信。EMIF异步接口的每个读/写周期分为三个阶段：建立时间(SETUP)、触发时间(STROBE)、保持时间(HOLD),且每个阶段时间可编程设置，以适应不同的读写速度。DSP读写异步FIFO的时序图分别如图7、图8所示[6]。DSP读写FIFO控制信号由FPGA产生，其逻辑关系如下：
写FIFO信号：writ_clk= AECLKOUT
writ_req=! (/CE+/AWE)
读FIFO信号：read_clk = AECLKOUT
read_req = ! (/CE+/ARE)
另外,写FIFO的DSP要相应为满状态标志，读FIFO的DSP则相应为半满状态标志。
5 DSP之间数据通信[7]
为了设计一款通用性比较强的图像处理平台，各处理器间的数据传输必需达到通用性，这样可以针对不同系统的应用，只须修改图像处理算法代码，而不须要修改各处理器之间的通信。具体设计分为如下两部分：
(1) 数据通信协议说明（x=0,1,2,3）
Se/Re (Send/Receive)[0]：ARM通过FPGA请求DSPx接收(该数据位为1)或发送。
ARM[1:3]：该段数据为DSPx向FPGA发出请求数的DSP编号。
DSPx[4:6]：ARM处理器向FPGA提出要求响应的DSP的编号。
Da_Le(Data_Leng)[7:18]：ARM请求DSPx接收或发送的数据长度。
Da_Un (Data_Unit)[19]：该标志位表示是否按照Data_leng*K(1K=1 024 bit)的数据长度传输数据，若为1，表示接收或发送数据长度为Data_leng*K(1K=1024 bit)；若为0,表示接收或发送数据长度为Data_leng。
Da_Bl (Data_Block)[20:27]：该数据表示ARM请求DSPx接收或发送Data_Block个Data_leng K或Data_leng数据块。
Da_Ch(Data _Result)[7:18]：ARM请求DSPx接收或发送的算法代码中间运行结果或最终结果，此数据段与Data_Leng共用。
In_Pr (Interrupt _Priority) [27:30]：设置DSP的中断优先权。
Ot_Use (DSP_State) [31:34]：DSP状态标志信息。
Ot_Use (Other_Use) [36:47]：用户自定义数据段。
(2) 数据通信主要流程
首先，FPGA接收到ARM[1:3]处理器的请求信号，然后根据Data[0:34]计算出校验数据SUM与Parity_Check[35]比较，若不等，则FPGA向ARM处理器重新发请求信号；若相等、且DSPx为空闲状态时，则FPGA由Send/Receive向DSPx发送接收或发送数据请求,并将采集到的图像数据传输给DSPx，同时使能对应的FIFO数据通道；DSPx根据收到的数据信息，同样计算出校验数据，若与Parity_Check相等,则根据Send/Receive标志位，采用EDMA方式向EMIF口接收或发送Data_Block* Data_leng(或Data_Block* Data_leng K)数据。如果FPGA同时接收到2个或2个以上的DSPx数据传输请求信号，则FPGA根据Interrupt _Priority端口数据判其执行的先后顺序。
6 系统的性能分析[7]
影响系统性能的主要因素有：ARM处理器协调工作的响应速度、DSP处理数据的速度、数据在多处理器之间的传输速度。前两个因素主要由处理的主频和处理能力决定，因此不做测试。数据在处理器之间的传输速度则是本设计的主要部分之一,而数据传输带宽和数据传输延迟是衡量数据传输速度的重要指标。
若系统中DSP读写FIFO的带宽为B(单位时间内DSP间的数据传输量)，则：
表1是ARM处理器分别与DSP1~DSP4传输不同大小数据时测得的平均延迟时间，图9是根据测试数据绘出的实际带宽Bf曲线。可以看出，随着传输的数据增大，Bf逐渐逼近B的266 MB/s的理论值。
本文基于ARM、FPGA、多DSP设计的实时图像信号处理系统，使用FPGA芯片设计的一种高速数据传输网络互联结构，使得该系统的数据通信能力和DSP的运算能力能很好地匹配；通过数据传输控制总线，使得数据传输十分灵活；利用S3C6410对图像数据传输的调度,图像数据处理任务的分配,图像保存、显示、网络传输；利用4个TMS320C6416T对图像做算法处理。经测试，算法代码在单DSP(TMS320C6416T 1 GHz)平台下其处理时间小于0.2 s，而在本文平台下其处理时间小于40 ms，可以满足实时要求。另外，该系统可广泛适用于其他图像处理、电子对抗、雷达信号处理等各个领域。
参考文献
[1] 曹理发.尹勇.刘恒辉,等.基于ARM和DSP的视频监控系统设计与实现[J].电子器件,2009,32(1).
[2] Cyclonce Inc. Cyclone II device handbook. 2005.
[3] 龙再川，赵凯生，洪明坚,等. ARM系统中DMA方式在数据采集中的应用[J].国外电子元器件,2007(2).
[4] Texas Instruments Incorporated.TMS320C6414,TMS320C6415, TMS320C6416FIXED-Point digital signal processor,2007.
[5] 李方慧，王飞，何佩琨. TMS320C6000系列DSPs原理与应用(第二版)[M].北京：电子工业出版社,2005.
[6] Texas Instruments Incorporated. TMS320C6000 EMIF to external FIFO interface.1999.
[7] 周委，陈思平，赵文龙,等. 基于DSP EMIF口、FPGA设计并实现的多DSP 嵌入式系统[J]. 电子技术应用, 2008，34(12)：6-8.
2839
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
