基于FPGA实现OV5640摄像头的视频图像采集及VGA显示

                                          基于FPGA实现OV5640摄像头的视频图像采集及VGA显示

0.    背景

        最近有些空闲时间，就想着去尝试实现视频图像采集及显示系统，因为以前涉及的数据采集传输系统主要是采集一维物理量，如最常见的就是实时采集各种单一维度的传感器信号，如温度，压力，光通量，加速度等。图像信号虽然采用水平像素和垂直像素的二维分量显示，其本质还是一维信号的分时显示构成的。例如，某幅图像大小为1280*720pixel，则每一行是1280个有效像素点，垂直方向上每一列（line）是由某一行构成，总共有720行，单幅图像所有像素点按时间先后依次分时采集，共计1280*720个有效像素点。

 

1.   器件选型

        为了采集视频图像，需要选购摄像头模组，本质也是传感器（image sensor）+ 镜头 + 马达等部件组成，我采用的主控芯片是FPGA，用于驱动摄像头进行视频采集，以及通过VGA接口进行实时显示。选型时主要参考现阶段应用于DIY较多的豪威OV5640摄像头模组，开源资料比较多，便于固件驱动程序的开发。

        OV5640该摄像头支持MIPI和DVP共两种接口模式。DVP接口是并行总线，其数据流速率受限于PCLK，PCLK通常不超过96MHz；而MIPI接口是LVDS低压差分接口，只需要要CLKP、CLKN、DATA+/DATA-组成。可知，MIPI接口比DVP的接口信号线少，差分信号线产生的干扰小，故抗干扰能力也强，因此数据流传输速率更高，现阶段智能手机上的摄像头均采用MIPI接口。现拟采用DVP接口来驱动该摄像头模组。

2.  固件驱动开发

        上文提到过，OV5640摄像头模组的开源资料丰富，主要参考以下两个资料即可实现对摄像头模组正常功能的驱动。

资料一是豪威内部编写的摄像头驱动应用指南《OV5640_自动对焦照相模组应用指南(DVP_接口)__R2.13C》；

资料二是OV5640图像传感芯片手册《OV5640_datasheet》；

说明：两个资料均可以在网上免费下载获得，非常感谢网友的无私分享！！！

关于该摄像头的各种规格参数参见资料一二，下面主要介绍该模组的固件驱动开发过程。

（1） 摄像头模组上电复位

        参见芯片手册可知，该模组对上电时序是由具体要求的，见图1所示。

        如果按照这个上电时序要求进行，即可完成上电复位；上述DVDD电源是由外部电路提供，该图像芯片支持DVDD由内部自己产生，则上电时序有细微差别。

（2） 配置寄存器初始化

         该摄像头模组的功能比较强大，例如VCM driver，环境光滤波，AEC/AGC，图像采集格式等等，都是通过配置相关寄存器来实现的。对于寄存器的配置由主控芯片FPGA完成，通信接口为SCCB接口，其本质可类比IIC接口，该接口时序见图2所示。

根据实际用法来具体配置各个寄存器相应值，有些寄存器不容易理解可忽略。《OV5640_自动对焦照相模组应用指南(DVP_接口)__R2.13C》附录1中驱动程序示例提供了常用的寄存器配置模板，可以复制和进行对应修改即可完成配置，见图3所示。

（3） 图像实时采集

        经过上述两步完成后，可进行图像视频实时采集的具体实现。拟实现的视频采集参数为720P，60fps，图像格式为RGB565，由此可以算出PCLK时钟频率至少为 PCLK = 1280*720*（16bit / 8bit）*60 = 110MHz，实际中会有一定比例的无效像素点采集，故PCLK实际工作频率大于110MHz的。DVP接口时序见图4所示。

        在视频图像数据实时采集到通过vga接口实时显示链路中，如果二者数据流速率存在偏差，故需要中间加上图像数据缓冲单元，从而保证每帧图像完整采集后能完整显示。图像每个像素点为16bit，计算可知，一帧有效图像的数据量大小为1280*720*16 = 15Mbit，一般的片内ram无法满足，硬件采用DDR3芯片来作为缓冲单元，并将DDR3的存储空间分为两个子空间，每个子空间存储一帧数据，实时乒乓操作进行切换。例如，当空间1进行采集的图像数据写入时，同时从空间2中读取上一帧图像数据输出给VGA进行显示，如此可以保证各帧之间切换无切换痕迹出现。故ddr3在配置时，分配P0，P1两个64bit双向端口，来实现二者同时读写操作。

        关于VGA接口，video graphic array 视频图形阵列，是一种基于模拟信号显示，由IBM在1987年随PS/2机一起推出的一种视频传输标准，R,G,B管脚电压范围为0.7V Vpp；故VGA接口需要匹配对应的DAC驱动芯片，其功能是将数字信号转化为电压模拟信号，然后进行图像显示。如果为了硬件设计简单化，可以将VGA驱动芯片替换为一组不同电阻网络来实现采样功能，电阻值的大小依次按照2的指数增长。例如数字信号的电源电压为3.3V，而R,G,B管脚电压范围为0 - 0.7V Vpp，VGA接口源端和终端匹配电阻均为75Ω，如图5所示。

            

由此可知： 3.3V / (Rx + 75) = 0.7V / 75 。 可以算的：Rx 约为500Ω。该方法具体实现可参考博文如下：

参考链接： https://www.cnblogs.com/spartan/archive/2011/08/23/2150660.html

        VGA接口协议可以参考手册《VESA Display Monitor Timing Standard ©Copyright 1994-2004 Video Electronics Standards Association Ver 1.0, Rev. 1.0》，该手册里收录了不同图像帧格式下的各种水平和垂直参数值，参见图6所示。

                                      

 

       最终，采集到的实时图像截图见图7所示。

 

3.    总结

        经过一周的固件程序编写及调试，终于实现了基于FPGA实现OV5640摄像头的视频图像采集及VGA实时显示这一功能。途中也遇到一些疑问，依次记录见后文。OV5640的功能还是十分强大的，此时我只实现了基本功能。还有一些常用功能有待后续进行开发，例如自动对焦，进入预览模式，如何实现单帧拍照模式等等。

       遇到的问题总结：

（1） 寄存器初始化时，感觉初始化成功，但是图像是一片红绿蓝三色点，则表明iic时序存在细节问题；

（2） OV5640进行iic通信时，该芯片slave address从机地址如何确定，默认地址是0x78，看到好多人不知道如何获取该地址，              其实OV5640的芯片手册就已明确设定了，参见图8所示。

（3）DDR3进行乒乓操作时，写入摄像头采集的数据到ddr中，使用的时钟是PCLK； 从DDR中读取单帧图像数据通过VGA接口进行显示，使用的时钟信号是VGA_CLK，二者不是同一个时钟。如果为了简便，均采用同一个片内时钟源，则需要注意两点：

其一是该时钟信号clk_ddr频率必须高于PCLK和VGA_CLK； 其二，由于ddr缓存模块（clk_ddr时钟），图像采集模块（PCLK时钟），VGA显示模块（VGA_CLK时钟）是不同时钟域之间内部使能信号和数据信号的传递，因此需要进行不同时钟域间的信号同步化，即用本模块时钟进行同步化操作。

（4） 视频采集的图像显示时，红色和蓝色正好发生交换。如图6中圆圈标记可知，牛奶盒上的红色区域变为蓝色显示，而对应的蓝色区域变为红色显示，正好出现了这一个好玩的bug。仔细分析程序时，发现OV5640摄像头模组数据流输出格式依次是B，G，R，我在编写程序时，因疏忽默认按照R,G,B依次采集和存储数据，故正好将蓝色和红色像素值交换了，造成图像反色，一个小疏忽，弄出了一个找茬图像，也算是一个小乐趣吧，在工程应用时应当避免这种错误。

        

PS：  获取本博客源代码的链接地址！！！

链接: https://pan.baidu.com/s/17r4QgmQAIaNp3DnHXYoSkQ 
提取码: u44h