目
引言
自从上世纪60年代美国喷气推进实验室对航天探测器“徘徊者7号”发回的几千张月球照片进行处理得到清晰逼真的图像之后，数字图像处理技术在科学研究、工业生产和管理部门中得到越来越多的应用。在图像识别、目标跟踪、机器人导航、自动驾驶、交通监视等领域中的应用也极大地促进了图像处理技术的发展。图像处理理论的发展特别是实时图像处理对数字图像处理器提出了较高的要求，图像处理系统必须具有强大的运算功能，DSP的发展正好能满足这一发展的要求。DSP的发展，使得在许多速度要求较高，算法较复杂的场合，取代MCU或其它处理器，而成本有可能更低。
图像识别技术是图像处理技术的高层次应用，也是模式识别的一个分支，最初从文字识别开始，然后逐步发展到识别静止图像和运动图像，接下来是对三维物体的处理和识别。图像识别技术广泛的用于军事，医学，交通，工业生产等领域，例如，字符识别，医学诊断，遥感图像解释，导航与制导，人脸与指纹识别，污染监测，工业生产检测等等。近年来国际上对这一领域给予了极大地重视，有关图像识别的理论算法也取得了较大的进展，如人工神经元网络，遗传算法等在图像识别的研究中取得了可喜的成果。现在，研究高性能，多用途的图像分析识别系统乃是有待我们努力解决的课题。
本文从图像处理的现状入手，概括介绍了TI公司DM642 型号的DSP的性能及其图像处理模块的应用，以较大篇幅介绍了关于图像处理的基础理论以及基于DSP的图像处理算法的实现。最后，以这些理论算法为基础，对所采图像中数字、符号信息进行识别，并取到了较为满意的效果。
第1章
数字图像信息有以下几个特点：⑴信息量大，一幅大小为512×512的二维图像信息量为： bit，这就对计算机的速度和内存容量提出了要求。⑵相关性大，常常有大批像素具有相同或接近的灰度。因此，数据信息压缩的潜力很大。⑶占用频带较宽，如电视图像的带宽约5.6MHz，而语音带宽仅为4kHz左右。这对频带压缩技术提出很高要求。
1.1 数字图像处理的内容
数字图像处理学科所涉及的知识面十分广阔，具体方法种类繁多，应用也极为普遍，但从学科研究内容上可以分为以下几个方面：
（1）图像数字化。将模拟图像转化为计算机可用的离散的图像数据。
（2）图像变换。改变图像的表示域或表示数据，如傅立叶变换，沃尔什变换，离散余弦变换等，将空间域处理转换为变换域处理。
（3）图像增强。改善图像的质量和视觉效果，或突出感兴趣的部分，以便于人或机器分析，理解图像内容。
（4）图像复原。对退化图像进行处理，使处理结果尽量接近原始未失真图像。
（5）图像分割。根据灰度或几何特性选定的特征，将图像划分为几个有意义的部分，对有意义的部分继续处理分析，提取有用信息，以便进一步做模式识别、机器视觉等处理。
（6）图像描述和分析。也称图像理解，是对给定的或已分割的的图像区域的属性及各区域之间的关系用更为简单明确的数值、符号或图形来表征，它们反应图像的重要信息和主要特征，有利于人或机器对原图像的分析和理解。
（7）图像数据压缩。减少图像数据量，以便节省传输和处理时间以及存储容量。编码是压缩技术中最重要且比较成熟的方法。
（8）图像分类。图像经过某些预处理，再进行特征提取、分割，进而按一定的判据进行判决分类
（9）图像重建。它利用摄像，X射线或超声波在三维物体中的投射或散射信息，应用一定的算法来构造物体某断层面的二维图像或由多个断面构成三维图像。例如计算机断层扫描成像技术，俗称CT（computer tomography）技术。
1.2 数字图像处理的应用
在医学方面，无论是临床诊断还是病理研究都大量采用图像处理技术，如X光照片的分析，血球计数，染色体分类等。
在工业和工程方面，图像处理技术已有效的应用于无损探伤、质量检测和过程控制等方面，如应力分析、流场分析、机械零件检测和识别、印刷电路板疵病检查等。
在军事方面，图像处理技术的应用上最有价值和迫切需求的是飞行导航、导弹打靶的景物图像制导和寻的。该技术是通过判读侦查照片，进行图像匹配识别和跟踪。
另外，人像、指纹以及其他痕迹的处理和识别，以及跟踪、监视、交通监控、事故分析等都已在不同程度上使用的图像处理技术的成果。
目前，数字图像处理研究最为活跃的一个领域视基于模式识别的机器人“计算机视觉” ，该技术已发展到制造具备视觉、听觉和触觉反馈的智能机器人，它将在诸多方面起到重要作用。
1.3图像处理与图像识别
图像处理着重强调对给定的图像进行某些变换，从而得到清晰图像的过程。虽然人们常用图像处理泛指各种图像技术，但比较狭义的图像处理主要满足于对图像进行各种加工以改善图像的视觉效果并为自动识别打下基础，或对图像进行压缩编码以减少所需存储空间或传输时间，满足设定传输通路的要求。对含有噪声的图像，要去除噪声，滤去干扰，提高信噪比；对信息微弱的图像进行灰度变换等增强处理；对已经退化的图像进行复原；对失真的图像进行几何校正等变换。
图像识别就是对经过上述处理的图像进行特征抽取，如抽取图像的边缘、线及轮廓，进行区域分割等，然后根据图形的几何及纹理等特征利用模式匹配、判别函数、决定树、图像匹配等识别理论对图像进行分类，并对整个图像做结构上的分析。
随着目前对智能化的要求越来越高，图像识别已经而且会继续成为一个备受关注的研究方向。
1.4 VPM642图像处理开发板
大量数据的处理和现代图像处理算法要求图像处理系统必须具有强大的运算功能，特别是实时图像处理的场合，对硬件提出更高的要求。SEED-VPM642是一款专为各种视频应用而推出的开发板，核心芯片是TI最新推出的面向多媒体处理领域的数字信号处理器TMS320DM642。DM642建立在C64x DSP核基础上，采用德州仪器公司开发的第二代高性能的先进的超长指令字结构VeloeiTl，在600MHz的时钟频率下，DM642每秒可以进行24亿次16位的乘累加或48亿次的8位的乘累加。这样强大的运算能力使得DM642可以进行实时多视频图像处理。它的增强型直接内存存取 (EDMA)对DSP图像处理系统是非常重要的，它可以在没有CPU参与的情况下完成映射存储空间中数据搬移。
1.5 论文组织
论文第一章介绍了数字图像处理的内容、应用及现状，并由图像处理对硬件要求的提高而引入DSP。第二章介绍DSP开发板的硬件结构和开发环境，重点介绍了VPM642开发板的图像处理模块及其图像采集过程。第三章讲述了图像处理理论及算法，并在此基础之上，实现简单的图像识别。
第2章
2.1 SEED-VPM642开发板简介
图2.1
2.2 DSP特点
为适应快速数字信号处理运算的要求，DSP芯片普遍采用了特殊的硬件和软件结构，以提高数字信号处理的运算速度，并且多数DSP运算操作可以在一个指令周期内完成。DSP芯片的结构特征主要是指：
哈佛结构不同于冯·诺依曼（Von Neuman）结构的并行体系结构，其主要特点是将程序和数据存储在不同的存储空间中，即程序存储器和数据存储器是两个相互独立的存储器，每个存储器独立编址，独立访问。与两个存储器相对应的是系统中设置了程序总线和数据总线两条总线，从而使数据的吞吐率提高了一倍。而冯·诺曼结构则是将指令、数据、地址存储在同一存储器中，统一编址，依靠指令计数器提供的地址来区分是指令、数据还是地址。取指令和取数据都访问同一存储器，数据吞吐率低。
在哈佛结构中，由于程序和数据存储器在两个分开的空间中，因此取指和执行能完全重叠运行。为了进一步提高运行速度和灵活性，TMS320系列DSP芯片在基本哈佛结构的基础上作了改进，一是允许数据存放在程序存储器中，并被算术运算指令直接使用，增强了芯片的灵活性；二是指令存储在高速缓冲器（Cache）中，当执行此指令时，不需要再从存储器中读取指令，节约了一个指令周期的时间。
在通用微处理器中，乘法是由软件实现的，实际上是由时钟控制的一连串移位运算。而在数字信号处理中，乘法和加法是最重要的运算，提高乘法运算的速度就是提高DSP的性能。在DSP芯片中，有专门的硬件乘法器（DM642有两个乘法器，其他只有一个），使得一次或者两次乘法运算可以在一个单指令周期中完成。大大提高了运算速度。
在流水线操作中，一个任务被分成若干子任务，这样，他们在执行时可以相重叠，与哈佛结构相关，DSP芯片广泛采用流水线以减少指令执行时间，从而增强了处理器的处理能力，把指令周期减小到最小值，同时也就增加了信号处理器的吞吐量。
第一代TMS320处理器采用二级流水线，第二代采用三级流水线，而第三代则采用四级流水线。也就是说，处理器可以并行处理2~6条指令，每条指令处于流水线上的不同阶段。在三级流水线操作中，取指、译码和执行操作可以独立地处理，这可使指令执行能完全重叠。在每个指令周期内，三个不同的指令处于激活状态，每个指令处于不同的阶段。
在片内外两级存储器结构中，片内存储器虽然不可能具有很大的容量，但速度快，可以多个存储器块并行访问。片外存储器容量大，但速度慢，结合他们各自优势，实际应用中，一般将正在运行的指令和数据放在内存储器中，暂时不用的数据和程序放在外部存储器中。片内存储器的访问速度接近寄存器访问速度，因此DSP指令中，采用存储器访问指令取代寄存器访问指令，而且可以采用双操作数和三操作数来完成多个存储器同时访问，使指令系统更加优化。
DSP的另一个特征就是采用特殊的DSP指令，不同系列的DSP都具备一些特殊的DSP操作指令，以充分发挥DSP算法和各系列特殊设计的功能。
哈佛结构、流水线操作、专用的硬件乘法器、特殊的DSP指令再加上集成电路的优化设计，可使DSP芯片的指令周期在200ns 以下。TMS320系列处理器的指令周期已经从第一代的200ns降低至现在的2ns 以下。快速的指令周期使得DSP芯片能够实时实现许多DSP应用。
2.3
DM642 (TMS320DM642)型处理器是TI公司最新推出的面向多媒体处理领域的数字信号处理器(DSP)。 DM642建立在C64x DSP核基础上，采用德州仪器公司开发的第二代高RS232性能的先进的超长指令字结构VeloeiTl．2TM, 含有双数据通路、8个运算单元，每周期可执行8条32-bit指令，支持4个16-bit和8个8-bit连乘加MAC指令，有64个寄存器，取数/存数的数据通道为64-bit。在600MHz的时钟频率下，每秒最多可完成4.8 G次操作，具备在线编程功能，带有的丰富外围接口可以与多种存储器相连，可以直接与网络连接。DM642每秒可以进行24亿次16位的乘累加或48亿次的8位的乘累加，这样强大的运算能力使得DM642可以进行实时多视频图像处理。
DM542结构框图如图2.2，其外部端口包括：
图2.2
·三路可配置的视频端口，可以进行视频输入输出，数据流输入的无缝连接
·VCXO interpolated control port (VIC)，内插控制接口
· 10/100 Mbps ethernet MAC (EMAC)，光纤接口
·Management data input/output (MDIO) module，数据输入输出控制模组
·Inter-Integrated Circuit (I2C) bus Module，I2C总线模组
·Multichannel audio serial port (McASP)，多通道音频端口
·Two multichannel buffered serial ports (McBSPs)，多通道缓冲端口
·3个32位通用定时器
·host port interface (HPI16/HPI32)，用户可配置16位，32位主机接口
·66 MHz 32-bit peripheral component interconnect (PCI)，PCI总线
·General-purpose input/output (GPIO) port，通用输入输出端口
·64-bit external memory interface (EMIF)，64位外部存储器接口
DM642采用两级Cache结构，1级程序缓存（L1P）是128K的直接映射的缓冲区，1级数据缓存（L1D）是128K的设置相关联的2块缓冲区。2级存储器/缓存包括2M的程序数据存储空间。2级存储器可以配置为映射存储区，缓冲区，或者两者的结合。
增强的直接存取器访问（EDMA）控制器处理二级（L2）缓存控制器和 DSP 的片外设备之间的所有数据传输。这些数据传输包括高速缓存服务，无缓存内存存取，用户定义数据传输和基本传输。C64x EDMA 最多可支持64 个EDMA 通道，这些通道服务于片外设备和外部存储器。
内部时钟信号都可以通过内部锁相环电路PLL产生，Power down 电源管理模块可以控制可部分的工作模式，以降低功耗。
2.4视频解码芯片YVP5150AM1
TVP5150A 芯片是一款超低功耗NTSC/PAL/SECAM视频解码器。TVP5150A 解码器将 NTSC, PAL, 和 SECAM 视频信号转换为8位ITU-R BT.656信号。在典型运行条件下，该解码器的功耗是115mW，而在低功耗模式下，功耗仅有1mW，是的它在便携式设备中得到大量应用。TVP5150A 解码器需要一个外部晶振，可以再I2C总线下进行编程，内核电压1.8V，I/O电压3.3V。
TVP5150A 解码器将基带模拟视频转换为数字YCbCr 4:2:2 复合视频，同样支持合成及S-Video输入。内部带有9位A/D转换器，输出为8位4：2：2格式或8位ITU-R BT.656格式。解码器时钟频率为14.31818M，由晶振分频所得。内部寄存器的读写采用总线控制。下图为TVP5150A与DSP的连接电路图，由于TVP5150A的输入信号为0.75VPP，而外部输入信号一般为1VPP，所以外部视频输入与TVP5150A之间串接18Ω和56Ω到地分压电阻网络，以达到TVP5150A输入电平要求。本系统采用复合视频信号输入，CYBS/Y0作为复合视频输入，CYBS/C0接地。
图2.3 解码芯片与DSP连接电路图
2.5 视频处理模块
DM642型数字信号处理器可实时处理4路模拟视频和音频输入、l路模拟/数字视频和1路模拟音频信号输出，适应PAL/NTSC标准复合视频CVBS或分量视频Y/C格式的模拟信号输入，可适应PAL/NTSC标准S端子或数字RGB模拟/数字信号输出，可适应标准麦克风或立体声音频模拟输入及标准立体声音频模拟输出，具有对多路采集数据进行实时处理和分析的功能，可实现数据和图像叠加显示。视频框图如图2.4。
图2.4 视频端口配置
视频捕获操作方式如下：模块对输入的图像数据采样，并将其存入图像的FIFO里面，当FIFO里的数据达到一定数量后，将出发DMA通道将数据从FIFO送入DSP存储器中。某些情况下，在图像数据输入后进行色彩分离（YC信号分离），这就需要多个FIFO和多通道DMA来进行数据传输。视频捕获和视频显示有多种方式，这里仅介绍BT.656 捕获和显示方式。
BT.656 捕获方式中，TVP5150A 解码器将基带模拟视频转换为数字YCbCr 4:2:2 复合视频，系统捕获8位或10位的4:2:2的亮度、色彩复合信号进入单一的数据流中。视频信号转换为Cb,Y,Cr,Y,Cb,Y,Cr,……的形式，其中，序列Cb,Y,Cr表示同位置的亮度和色彩样本，接下来的Y值对应于下一个亮度样本。数据流以这种方式分离后，各分量分别以打包的形式进入各自所对应的FIFO中，为进一步进入DSP内存中的缓冲器做准备。打包和采样的顺序依赖于采样位数（8为或10位）以及DSP的模式（big-endianess 和little-endianess）。每个通道的数据线都是10位，对于8位操作，输入的数据按高位对齐（9-2位），低2位忽略。
BT.656 视频显示方式下，将输出一通道复合数据流的8位Y/C或者10位的4:2:2同位置亮度色度信号。像素点成对输出，每对包含两个亮度采样和两个色度采样。显示时要连接SAA7120视频译码器，如下图示。
图2.5
2.6 图像采集与数据处理过程
TMS320DM642有三个可配置的视频端口：VP0、VP1和VP2，与视频采集芯片连接，该系统将VP0口与之连接，采用8位ITU-R BT.656模式。将VPxD2~9，直接与A/D芯片的8根输出管脚相连。输入的PAL/NTSC模拟信号经过视频解码芯片A/D后形成的数字视频信号直接进入相应的视频端口中。采集8 bit ITU-R BT.656数据时，视频端口接收A/D的亮度与色度的复合数据流（YUV422，称为packet格式：Cb,Y,Cr,Y,Cb,Y,Cr ），然后将它分解成三个单独的数据流（planar格式），分别是Y，U，V，再将分离后的数据打包存放到各自的FIFO中。
将FIFO分成3部分，其中为亮度数据Y分量分配的FIFO为1280B，为每个色度数据分量分配FIFO为640B；每个FIFO都有相关的存储器映射地址：YSRC，CBSRC和CRSRC；EDMA将使用这些地址作为数据搬运操作的源地址。每个视频端口最多可以使用六个EDMA通道，当某个FIFO的计数器到达VCTHRLDn寄存器设置的数值时，就可以触发相应的EDMA（增强的直接存储器存取控制器）事件。
图像获取模式下，使用YEVT, CbEVT,
2.7 EDMA配置
EDMA配置是为了从FIFO搬运数据到SDRAM中，采用1D/2D传输，即源地址不变，而目的地址则在每次传输后按索引值自动更新。我们为每一场设置一个EDMA参数，并将这些参数连接起来，一次传输任务的结束会自动从参数RAM中装载下一次传输需要的参数，从而实现某些复杂数据流的传输。
初始EDMA参数设置：数据源地址；数据目的地址：第一行起始地址；数据单元计数：一行的采样点数：每行像素数；阵列计数：一场的采样行数；阵列索引：一场采样点数的两倍（两场按行交叉存放）；参数连接地址：下一组EDMA参数。格式如图2.7所示。
可选参数设置：优先级：用户设置；数据单元子长：32bit；1D/2D源/目的地址传输；源/目的地址更新模式：源地址不更新，目的地址按阵列索引更新；传输结束中断：使能每帧的底场结束中断，并设置中断码；顶场禁止；EDMA事件连接：使能所有EDMA参数的连接。
通过以上参数设置后三个EDMA通道分别负责从视频端口FIFO中搬运Y、Cb和Cr三个分量到SDRAM中；EDMA每启动一次，从FIFO中搬运一行的采集数据到SDRAM中，并在搬运完毕后自动更新目的地址；EDMA阵列计数值到0后启动参数连接，从参数RAM中装载下一次传输需要的参数，若使用了传输结束中断，则执行EDMA中断服务程序。
| EDMA参数存储结构 | ||
| Option（可选参数） | Word 0 | |
| SRC Adress（源地址） | Word 1 | |
| Array/Frame count （帧/阵列计数） | Element count （数据单元计数） | Word 2 |
| Dst address(目的地址) | Word 3 | |
| Array/Frame index （帧/阵列索引） | Element index （数据单元索引） | Word 4 |
| Element count reload （数据计数的重加载） | Link address （连接地址） | Word 5 |
图2.7
模拟视频输入PAL或NTSC都是按场隔行扫描，因此数据可以按照场模式进行存储，即先存储顶场再存储底场，在存储器中是单独的两场图像；或者按帧模式进行存储，即顶场和底场按行交叉存储，将两场图像拼成一帧图像。
按帧模式存储时，在SDRAM中申请一帧缓存，然后为每一帧中的每一场的亮度和色度分量指定存储地址，两场地址相差一个象素行，首先采集顶场，然后采集底场，两场按行交叉存放形成完整的一帧。
在DSP中开辟三个存储数据段，分别存放这些数据：capChaAYSpacecap，ChaACbSpace，capChaACrSpace。段定义如下：
#pragma DATA_SECTION(capChaAYSpace, ".capChaAYSpace")
Uint8 capChaAYSpace[720*576];
#pragma DATA_SECTION(capChaACbSpace, ".capChaACbSpace")
Uint8 capChaACbSpace[360*576];
#pragma DATA_SECTION(capChaACrSpace, ".capChaACrSpace")
Uint8 capChaACrSpace[360*576];
由于摄像头采用镜像方式成像，摄像头扫描时，先扫描到的是图片的最底端，所以EDMA传输时应将最先采到的数据送入存储区的高地址处。Y采样时，由于每行为720像素，EDMA每次传输的数据单元数应为720字节，即Y目的基地址应为最高地址-720。目的地址按阵列索引更新方式应为，每次目的地址减去720字节的位置。Cb，Cr采样与之类似。
2.8 CCS集成开发环境
CCS操作界面如下图，关于CCS的使用，详见参考文献[3]，在此不再赘述。
568
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
