基于DM8168 EVM的智能视频跟踪系统

基于DM8168智能视频跟踪系统以TMS320DM8168处理器为核心，各种外设接口组成的智能视频分析跟踪系统。本评估板（DM8168 EVM）硬件模块高度集成了DM8168，以及其它外设如NAND、DDR3、SPI FLASH等。接口主要包括四路视频输入口、一路视频输出口、三路串口。可以完 全脱离计算机而独立运行，用户可以通过本系统，再加上一台显示器，就可以完成对目标的检测、跟踪，以及自动报警、录像、拍照、并回放等功能；  能够脱离计算机独立运行是本系统相对于其他智能视频分析系统的最大特点。不需要计算机就意味着整个系统的操作复杂程度大大降低，同时成本也可以得到很好的控制。 一，硬件平台  DM8168智能视频分析评估板（EVM）的硬件平台设计包括系统硬件平台整体结构，各个模块的功能，器件的选型关键环节。系统硬件框图如图1所示，主要分为4个模块：视频处理模块、存储模块，电源模块和接口模块。          图1 系统硬件结构框图       视频处理模块可以接收4通道模拟信号（Composite Video），将其通过TVP5158视频解码器解码成YUV格式。视频输入信号会被同时传送给评估板上的DM8168，经过视频处理后，DM8168芯片内带有视频DAC，通过运算放大器芯片OPA361就可以把视频图像直接输出到视频插孔，连接到显示器上显示。视频处理模块采用TI公司的DM8168，DM8168的ARM核Cortex-A8和DSP核C6747主频都为1GHz,处理能力强大。DM8168内带有的Cortex-M3核负责视频处理子系统VPSS，其对来自 TVP5158的视频信号进行接收，编解码，以及视频输出；A8负责整个SoC的控制；C6747运行算法对视频进行处理。     DM8168评估板存储模块包括1GB的DDR3内存、256MB的NAND FLASH以及4MB 的SPI FLASH。DDR3内存作为操作系统和系统软件的运行空间，其单片大小为256MB，主频最高可达1600MHz, DDR3连接在DM8168的EMIF0和EMIF1总线上。256MB的NAND FLASH用于存储Boot loader、启动环境变量、Linux内核、文件系统等数据。     DM8168EVM功耗较大，需求的电压种类多，系统电源部分采用5V直流电源输入，经过各级电源转换芯片，产生各种电压。接口模块包括了4路视频输入的视频插孔，1路视频输出插孔；为方便用户的调试和以后的开发，主要接口有JTAG，10M/100M以太网口，RS232串口，其中网口用了PHY芯片ET1011和RJ45插座，以及已经扩充存储的GPMC扩展接口。本产品实物图见下图2所示：                     图2 DM8168EVM视频跟踪平台（尺寸：103mm*91mm）  二，软件概述      TMS320DM8168是一款多核SoC，它集成了包括ARM Cortex A8、DSP C674X+、M3 VIDEO、M3 VPSS等处理器，本系统充分利用各个处理器各自的处理特性，如DSP专注于视频图像处理，ARM负责应用程序管理及各个外设的控制，M3 VIDEO主要功能是对视频帧进行编码和解码，而M3 VPSS则负责视频帧的获取和显示。DM8168具有如此强大的数字多媒体处理能力，但同时在DM8168EVM平台上开发软件的难度也随之增加。本系统在软件设计时，采用了McFW（multichannel framework）+QT 的软件框架来实现多个核之间的通信和分工合作。一个多通道的视频处理系统（multichannel video system）主要包含了以下五个处理子系统：   视频捕获；视频捕获子系统能将视频帧数据捕获进来，同时对视频帧进行一些处理，如噪声滤波、反交叠等。 视频显示；视频显示子系统能够将解码或者处理完成后的帧实时显示到显示器上，视频显示子系统同时也能够对图像进行分割、合并显示，达到一个屏幕，多个监控画面的效果。 视频编解码；视频编解码子系统能够对视频图像进行编解码，并送予ARM 存储或者视频显示子系统进行显示。   视频算法处理； 视频算法处理子系统使用跟踪检测算法来对视频进行处理，如均值偏移（Mean Shift）、粒子滤波，核心算法在此集成。 QT开发的用户GUI交互界面，快捷显示出平台的状态，用户可以方便的使用鼠标在GUI上控制平台。    三，算法概述     对视频帧的检测和跟踪算法，运行在DSP视频处理子系统中，此算法模块由多种自主研发和改进的视频分析算法组成，包括目标检测，分割，分类识别及跟踪等算法。除了视频分析算法的一些基本步骤，本系统还加入了阴影检测算法，用于在户外有阳光的环境下，精确的锁定目标位置。     此外，利用支持向量机（SVM）实现特征提取，结合卡尔曼滤波及均值偏移算法实现目标的分类以及跟踪。系统可实时地根据用户设置的警报规则进行运动目标检测、识别、跟踪及目标行为理解。如有违规行为发生，则将警报信息返回到系统管理模块，并按照预先设定好的配置进行拍照、录像并存储。例如在QT的GUI下，边缘检测的效果如下图3所示：   图3 边缘检测效果+QT界面显示效果

LAST_UPDATED2