FPGA学习-图像处理基础实现缓存卷积窗口

最新推荐文章于 2024-06-12 20:00:00 发布
最新推荐文章于 2024-06-12 20:00:00 发布
阅读量1.1k 收藏 21
点赞数 2
文章标签： 卷积 计算机视觉 python 人工智能 深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MDE0MjcxMQ==&mid=2247492185&idx=1&sn=256a38dbd1a1776f56623c6aa5ea81a6&chksm=fba7b5c1ccd03cd7bd0e7d17d690652cfe242ad41dde5f5975f1aa1a579490bd3cd0e341287f&scene=126&&sessionid=0
版权

像素行与像素窗口

  一幅图像是由一个个像素点构成的，对于一幅480*272大小的图片来说，其宽度是480，高度是272。在使用FPGA进行图像处理时，最关键的就是使用FPGA内部的存储资源对像素行进行缓存与变换。由于在图像处理过程中，经常会使用到卷积，因此需要对图像进行开窗，然后将开窗得到的局部图像与卷积核进行卷积，从而完成处理。

  图像数据一般按照一定的格式和时序进行传输，在我进行实验的时候，处理图像时，让其以VGA的时序来进行工作，这样能够为我处理行缓存提供便利。

基于FIFO的行缓存结构

d7e7bc2617e1af1dd9c9a9e0ca2bb482.png

  在FPGA中对图像的一行数据进行缓存时，可以采用FIFO这一结构，如上图所示，新一行图像数据流入到FIFO1中，FIFO1中会对图像数据进行缓存，当FIFO1中缓存有一行图像数据时，在下一行图像数据来临的时候，将FIFO1中缓存的图像数据读出，并传递给下一个FIFO，于此同时，将新一行的图像数据缓存到FIFO1中，这样就能完成多行图像的缓存。

  若要缓存多行图像，下面的菊花链式的结果更能够直观地表现图像数据地流向。

d95383f8908c88f340e22f3e87945b46.png

  新输入地图像缓存到FIFO1当中，当FIFO中缓存有一行数据的时候，下一个输入像素来临的时候，会将数据从本FIFO中读出，并给到下一个FIFO，来形成类似于一个流水线的结构。

  上面的图中，就是实现一个5X5大小的窗口的一个结构图。

代码设计

  实现一个可以生成任意尺寸大小的开窗的模块，需要注意参数的使用，可以通过调节KSZ来调整窗口的大小。最终将窗口中的图像像素，转换成一个一维的数据输出给到下一个模块。

  在设计的时候，对于FIFO要选择精准计数模式，这样才能让流水正常工作起来。

  在代码中通过generate语句来实现多个line_buffer的例化，line buffer的个数可以根据卷积窗口的大小来选择，例如3X3大小的卷积窗口需要缓存两行，5X5大小的卷积窗口需要缓存4行，可以通过设置参数来选择要例化多少个line_buffer。

3d3cc7fbb8cbe7e459efe97c2d0b4b52.png

时序设计

ae0843d86e1f5083731f94fc63bbd8a1.png

  在设计FIFO的菊花链结构时，需要根据当前FIFO中存储的数据个数来判断，这时候使用到精准计数模式，可以反应FIFO中的存储的数据。当FIFO中存储有一行数据的时候，使能pop_en信号，表示当前可以将数据从FIFO中读出。

  在将数据写入到FIFO中的时候，需要对数据进行扩充，也即需要对输入的图像的边界补充数据，因为进行卷积之后的图像将会比原始图像数据尺寸减少，因此在形成卷积窗口时，将图像扩充，能够让图像处理完成之后，保持原来的尺寸，只是会在边界出现黑边。

  win_buf这个模块的最终输出，就是一个矩阵内的所有像素，组成一个信号输出到外部，供进行卷积的处理。

8c0bf7b93327f2e7c668e66f0cf1c357.png

d0c1b182512304099868b97af1d17c7d.png

8363e091344ed884556356a45bb21f8c.png

a1f501186c4bd6a9756b64d67fb4a13f.png

c794b56d152af95bba10d9173d7c2bf3.png

755e821512e15d7c10ce96e6341571c5.png

fa5e462565b42a9db37d6c8acdef3d1e.png

4fa6a6912e93e8e1f8edf25c4ebaedc8.png

f190fa2bd7f3a1b922a1f26cceef7209.png

5fe309050f3ea5d3f5bf90a2e017c85e.png

667acdc201d731936b9f4f4c2cb18353.png

a0a9f5a0b2e879ff1964fc9927480b73.png

a09032dff8f8b072669c644b86b2b199.png

d0550ef0ee534f436123f1a6e96e9bf5.png

仿真验证

bbf00d77a907512faa1099200ae606cf.png

输入的第三行数据的前三个数据是：0x00，0x78，0x7c

输入的第二行数据的前三个数据是：0x00，0x7d，0x7d

输入的第一行数据的前三个数据是：0x00，0x7e，0x7f

输出的第一个矩阵的值是：0x0078_7c00_7d7d_007e_7f

输入行数据第一个数据是0x00这是因为扩充了边界的原因。

  可以看到，设置KSZ为3,可以得到一个位宽为72bit的输出数据，该数据包含了一个窗口中的9个数据。

5X5开窗

739bad8891fe1fa7cb6f09b9713cee13.png

  设置开窗大小为5x5之后，也可以看到输出信号的位宽变为了8*25=200bit，也就是一个5X5大小的矩阵中的数据。

输入的第5行数据的前5个数据是：0x00，0x00，0x7e，0x7c，0x7f

输入的第4行数据的前5个数据是：0x00，0x00，0x7e，0x7e，0x7e，

输入的第3行数据的前5个数据是：0x00，0x00，0x78，0x7c，0x7c

输入的第2行数据的前5个数据是：0x00，0x00，0x7d，0x7d，0x7a

输入的第1行数据的前5个数据是：0x00，0x00，0x7e，0x7f，0x7d

从输出结果看，输出的矩阵数据，刚好是这5行的前5数据，并且前两个数据是0x00，这是因为在每一行前面补充了两个0的原因。

  经过测试，这种开窗算子是能够完成任意此村的开窗的。

实际应用

  在实际应用中，我也将这个模块正确地使用上了，完成了一个3x3的sobel算子和5x5的均值滤波。

原始图像

19085c4a3eb884de6fdf54e1c51a24ed.png

3x3 Sobel

19621b4f5cdd80f34420f43bf1f31342.png

a006a5fc241ca0b6d47831639e07ecab.png

Hack电子
关注
  • 2
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【FPGA图像处理实战】- 图像行缓存设计实现方式一（FIFO）
mengzaishenqiu的博客
12-13 394
图像处理中稍复杂点的算法，就需要行缓存，以实现3*3窗口、6*6窗口的数据计算。本文将介绍使用FIFO来实现图像行缓存的设计，包括关键逻辑分析，源代码实现分享。
FPGA_存储器
qq_38091088的博客
02-05 555
FIFO设置读，写地址指针，FIFO初始化的时候 读指针和写指针都指向地址为0的位置， 当往FIFO里面每写一个数据，写地址指针自动加1指向下一个要写入的地址。看到网上的比喻很形象，FIFO例如隧道，位宽就是隧道里有几条车道，深度就是每条车道有几辆车，当隧道内车停满时，就是写满标志置1；fpga 存储器有三大部分，RAM、ROM、FIFO，下面还有分支小部分DRAM、SRAM、Flash、CAM等，但是只对三大部分说明，实际使用的也是最多。FIFO 位宽，深度，写满，读空。，剩余数据个数，复位信号。
FPGA丨设计行缓存(linebuffer)生成像素矩阵
热门推荐
耐心的小黑的博客
03-27 1万+
一、行缓存介绍 一幅图像是由一个个像素点构成的，对于一幅480*272大小的图片来说，其宽度是480，高度是272。在使用FPGA进行图像处理时，最关键的就是使用FPGA内部的存储资源对像素行进行缓存与变换。 由于在图像处理过程中，经常需要对图像进行开窗。如在进行卷积操作时，我们需要将开窗得到的如3X3大小的局部图像数据与卷积核进行卷积运算，从而完成处理。而开窗操作需要使用行缓存来实现，因此下面就介绍一下行缓存是什么。 假如我们需要3X3的窗口，那么我们就需要设计3行行缓存。因为正常情况下，大多图像数据都
FPGA图像处理3_基础功能_二维缓冲
bt_的博客
09-03 1154
二维缓冲 二维缓冲的功能是将串行的像素点数据转化为并行的多个像素点的滑窗，将滑窗内的坐标中心点作为当前并行数据对应的像素点，一般用于插值计算或者二维卷积。 由于二维缓冲主要是逻辑控制，不涉及数值计算，最简单的方法是使用 Verilog 实现，但是由于二维缓冲在图像处理算法中应用十分广泛，做成 sysgen 模块更适合在 sysgen 中直接调用。 根据图像处理原理，大部分计算用的滑窗都是 3×33...
【工程源码】基于FPGA的图像处理之行缓存（linebuffer）的设计.docx
09-19
【工程源码】基于FPGA的图像处理之行缓存（linebuffer）的设计.docx
初学图像处理----行数据缓存
王飞的博客
09-02 273
目标实现多行数据出入，3行数据同步输出。 代码： module buff_top ( input wire rst_n, input wire clk, input wire we, input wire [7 : 0] din, output reg [7 : 0] out_1, ...
FPGA实战开发-基于DDR的图像缓存（下）
whm128的博客
06-08 2009
DMA传输将数据从一个地址空间复制到另一个地址空间，提供在外设和存储器之间或者存储器和存储器之间的高速数据传输。DMA传输方式无需CPU直接控制传输，也没有中断处理方式那样保留现场和恢复现场过程，通过硬件为RAM和IO设备开辟一条直接传输数据的通道，使得CPU的效率大大提高。同理对于图像的输出部分采用HDMI输出，用Vga_lcd_driver产生输出的时序。//--------一帧图像写入DDR------------//--------一帧图像读出DDR------------
fpga 图像缓存方案讨论
weixin_34356555的博客
12-29 1113
fpga存储图像方案讨论 本文不讨论片上ram 以及sram存储，在此进讨论基于sdram存储的情况，在此sdram指 sdr sdram ，ddr sdram ， ddr2 sdram ，ddr3 sdram等。 （——不用对这些sdram感到惧怕，在quartus中都可以生成他们的IP核，而对用户侧的接口都是avalon接口的——） 1.一般存储方法采用乒乓操作 过程： （1）假...
FPGA实战开发-基于的ddr图像缓存设计（上）
whm128的博客
06-08 2337
fdma_rready设置为1，当fdma_rbusy=0的时候代表FDMA的总线非忙，可以进行一次新的FDMA传输，这个时候可以设置fdma_rreq=1，同时设置fdma burst的起始地址和fdma_rsize本次需要传输的数据大小(以bytes为单位)。当fdma_rvalid=1的时候需要给出有效的数据，写入AXI总线。由于摄像头产生的数据时钟速率和显示屏的时钟不匹配，而且当摄像头传来数据时，显示屏驱动模块不一定在此时需要数据，况且同一时刻摄像头传进的像素的位置不一定就是显示屏正刷新到的位置。
Python-在TensorFlow中实现实现图像卷积网络
08-11
在TensorFlow中实现实现图像卷积网络
唐宇迪---图像分割算法深度学习 卷积神经网络.pdf
06-26
唐宇迪---图像分割算法（深度学习）第二章
基于FPGA的数字识别-实时视频处理的定点卷积神经网络实现（95分以上）.zip
06-17
基于FPGA的数字识别-实时视频处理的定点卷积神经网络实现（95分以上）.zip 高分设计项目，代码完整下载可用，纯手打高分设计，也可作为毕业设计、期末大作业和课程设计，小白也可实战。 基于FPGA的数字识别-实时...
数字图像-----图像的卷积和滤波
05-09
均值滤波--中值滤波--sobel模板计算图像梯度
卷积神经网络在目标检测中的应用及FPGA实现-论文
05-18
卷积神经网络在目标检测中的应用及FPGA实现
【FPGA教程案例58】深度学习案例5——基于FPGA的CNN卷积神经网络之图像缓存verilog实现
FPGA/MATLAB学习教程/源码/项目合作开发
08-24 1639
​ 在课程54.深度学习案例1——基于FPGA的CNN卷积神经网络之理论分析和FPGA模块划分，我们对CNN的基本原理有了初步认识。 在上一个课程，我们完成了CNN的Relu激活层、pool池化层、卷积层的FPGA实现，如下图所示： ​
FPGA使用Block Ram实现卷积、行缓存——仿真解读数据流向
yang_zm的博客
12-06 339
fpga使用block ram实现行缓存、卷积
基于卷积层的滑动窗口目标检测——飞机篇（二）
qq_37939213的博客
07-30 288
一：背景 在上一篇博客中，贴上了卷积层滑动窗口的实现效果和提了一下卷积滑动明显的速度优势 https://mp.csdn.net/postedit/81275001 卷积滑动窗口，其实也和全卷积网络息息相关，我看了一下网上对全卷积网络的介绍主要集中于FCN的论文和某种领域的应用形式（医疗影像的U-NET网络），FCN其实有种编码和解码的思想在里面，生成的是端对端的网络，对数据集的要求也高，样...
FPGA图像处理基础----实现缓存卷积窗口
black_pigeon博客
07-16 5677
像素行与像素窗口   一幅图像是由一个个像素点构成的，对于一幅480*272大小的图片来说，其宽度是480，高度是272。在使用FPGA进行图像处理时，最关键的就是使用FPGA内部的存储资源对像素行进行缓存与变换。由于在图像处理过程中，经常会使用到卷积，因此需要对图像进行开窗，然后将开窗得到的局部图像与卷积核进行卷积，从而完成处理。   图像数据一般按照一定的格式和时序进行传输，在我进行实验的时候，处理图像时，让其以VGA的时序来进行工作，这样能够为我处理行缓存提供便利。 基于FIFO的行缓存结构   在
目标检测6：采用yolov8, RK3568推理的性能
最新发布
06-12 300
根据官方的数据，yolov8s模型的性能在15.4 FPS。所以基本上也吻合了这个数据。通过性能优化，发现推理，稳定的达到了FPS 13左右，NPU利用率在90%上下浮动。解析一段视频文件，1280*720, fps 24。读取视频文件，然后进行推理。本次采用模型为yolov8s.rknn，作了一次验证。
fpga 实现开窗功能、灰度图像均值滤波在 fpga 实现
12-17
FPGA (Field Programmable Gate Array) 是一种灵活可编程的集成电路，可以根据需要重新配置其内部逻辑电路。在图像处理领域，FPGA 可以用于实现开窗功能和灰度图像均值滤波。 首先，开窗功能可以通过 FPGA 实现。开窗是指在图像处理过程中选择感兴趣的特定区域进行处理。FPGA 可以通过配置其内部逻辑电路，实现对图像进行分块或选取特定区域的功能，从而实现开窗功能，可以在图像处理中提高效率和性能。 其次，灰度图像均值滤波也可以在 FPGA 中实现。灰度图像均值滤波是一种常用的图像处理算法，用于去除图像中的噪声和平滑图像。通过在 FPGA 中设计相应的逻辑电路，可以实现对灰度图像进行均值滤波的功能，从而改善图像的质量和清晰度。 总之，FPGA 在图像处理领域具有重要的应用价值，可以用于实现开窗功能和灰度图像均值滤波等功能。通过利用其灵活可编程的特性，可以实现高效、快速的图像处理算法，为图像处理技术的发展和应用提供了有力的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值