在FPGA上用查表法实现图像拼接、缩放、校准和旋转等算法

幻智星科技

已于 2024-07-29 13:02:55 修改

阅读量1k

点赞数 27

分类专栏： fgpa 文章标签：图像处理 fpga开发 fpga 算法硬件架构

于 2024-07-18 08:49:40 首次发布

本文链接：https://blog.csdn.net/weixin_46897017/article/details/140458426

版权

fgpa 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、技术要求

1~4路1080P视频输入；
经过拼接、缩放、校准，旋转等图像算法在显示器上进行显示，各算法的参数可以在线调整设置，参数设置保存之后不变；
同时图像延时要小于50mS；
功耗低。

二、设计思路和架构

延时要小于50mS的要求就决定要采用fpga实现，同时各算法参数不要求实时更改，因而在fpga上用查表法来实现图像拼接、缩放、校准和旋转等多种算法。查表法用到的像素地址表格由小型的低功耗32位单片机生成，这样就能同时附合低功耗的要求。设计方案架构如图1：

图1、方案架构图

因fpga内部缓存资源有限，所以采用外挂DDR3/DDR4大容量缓存。采用外部单片机考虑到可以采用低成本的fpga，利于降低整机方案的硬件成本。

多路摄像头的视频经fpga缓存到DDR3外部缓存，32位单片机运行拼接、缩放、校准和旋转等算法，生成查表算法用到的像素地址表格，并把这像素地址表格保存在DDR3中，供fpga读取。fpga读取像素地址表格中的地址，并从地址中取出像素合成图像传给显示器。

以上所说有查表算法是很好理解的，大家都熟悉的算法。但要在fpga中实现起来并不怎么容易。DDR3/DDR4特点是批量连续读取带宽利用率高，可达99%。但是查表法中的地址是不连续的，这样不连续的从ddr3读取数据，带宽利用率可能低到30%。这样会严重影响合成图像的刷新率，重而大大提高图像显示的延时。

方案难点：如何提高查表算法的DDR3带宽利用率。觖决这个难点是本方案成功的关健所在

三、查表算法方案详细设计

3.1、提高DDR3带宽利用率的方法

要提高DDR3带宽利用率，增加fpga内部的缓存是一种方法，但是fpga内部ram资源有限，不可能无限制的增加，因而适当的增加是可以的。除此之外我们采用了如下方法：

用地址对齐的方式压缩查表法中的地址：减少了读写次数，相当于增加了ddr3带宽利用率。
增加单次读写的像素个数。就是一次读取就能包含多个有效像素。
假设同前一行像素相同，那就不重新从ddr3缓存中读取了，直接从前一行像素备份缓存中拷一下就可以了。

3.2、FPGA查表算法RTL逻辑

FPGA查表算法RTL逻辑模块结构图如下：

图2、查表算法fpga逻辑结构图

地址表格处理模块逻辑的功能是进行进址压缩，生成压缩标志信号和64位地址对齐(也可以128位)的压缩地址数据流。把压缩标志传给图像合成模块，把压缩地址专给像素读取DMA，像素读取DMA位宽64位，64位yuv(422)可以对应4个像素。像素读取DMA把这64位数据传给图像合成模块进行分解解压。图像合成模块根据接受的压缩标志和64位数据生成最终的图像数据经图像输出接口模块传给显示器。图像输出接口模块决定了图像的输出刷新率。