嵌入式LINUX环境下视频采集知识

转载 2012年03月27日 17:58:00

Video for Linux two(Video4Linux2)简称V4L2,是V4L的改进版。V4L2是linux操作系统下用于采集图片、视频和音频数据的API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。在远程会议、可视电话、视频监控系统和嵌入式多媒体终端中都有广泛的应用。

  一、Video for Linux two

  在Linux下,所有外设都被看成一种特殊的文件,成为“设备文件”,可以象访问普通文件一样对其进行读写。一般来说,采用V4L2驱动的摄像头设备文件是/dev/v4l/video0。为了通用,可以建立一个到/dev/video0的链接。V4L2支持两种方式来采集图像:内存映射方式(mmap)和直接读取方式(read)。V4L2在include/linux/videodev.h文件中定义了一些重要的数据结构,在采集图像的过程中,就是通过对这些数据的操作来获得最终的图像数据。Linux系统V4L2的能力可在Linux内核编译阶段配置,默认情况下都有此开发接口。V4L2从Linux 2.5.x版本的内核中开始出现。

  V4L2规范中不仅定义了通用API元素(Common API Elements),图像的格式(Image Formats),输入/输出方法(Input/Output),还定义了Linux内核驱动处理视频信息的一系列接口(Interfaces),这些接口主要有:

  视频采集接口——Video Capture Interface;

  视频输出接口—— Video Output Interface;

  视频覆盖/预览接口——Video Overlay Interface;

  视频输出覆盖接口——Video Output Overlay Interface;

  编解码接口——Codec Interface。

  二、应用程序通过V4L2进行视频采集的原理

  V4L2支持内存映射方式(mmap)和直接读取方式(read)来采集数据,前者一般用于连续视频数据的采集,后者常用于静态图片数据的采集,本文重点讨论内存映射方式的视频采集。

  应用程序通过V4L2接口采集视频数据分为五个步骤:

  首先,打开视频设备文件,进行视频采集的参数初始化,通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式;

  其次,申请若干视频采集的帧缓冲区,并将这些帧缓冲区从内核空间映射到用户空间,便于应用程序读取/处理视频数据;

  第三,将申请到的帧缓冲区在视频采集输入队列排队,并启动视频采集;

  第四,驱动开始视频数据的采集,应用程序从视频采集输出队列取出帧缓冲区,处理完后,将帧缓冲区重新放入视频采集输入队列,循环往复采集连续的视频数据;

  第五,停止视频采集。

  1.视频采集的参数初始化

  在Linux下,摄像头硬件已经被映射为设备文件“/dev/video0”,用open函数打开这个设备文件,获得其文件描述符fd_v4l2,然后对这个文件描述符进行参数初始化。

  (1) 设置视频的采集窗口参数

  设置采集窗口就是在摄像头设备的取景范围之内设定一个视频采集区域。主要是对结构体v4l2_crop赋值,v4l2_crop由一个v4l2_buffer_type枚举类型的type和v4l2_rect类型的结构体c构成,来描述视频采集窗口的类型和大小。type设置为视频采集类型V4L2_BUF_TYPE_VIDEO_CAPTURE。c是表示采集窗口的大小的结构体,它的成员Left和Top分别表示视频采集区域的起始横坐标和纵坐标,width和height分别表示采集图像的宽度和高度。赋值后,用ioctl函数通过这个结构体对fd_v4l2进行设置。

  struct v4l2_crop { enum v4l2_buf_type type;

  struct v4l2_rect c;

  };

  (2)设置视频点阵格式和点阵大小

  主要是对结构体v4l2_format进行赋值,它由type和联合体fmt构成,来描述视频设备当前行为和数据的格式。

  把type赋值为视频采集类型V4L2_BUF_TYPE_VIDEO_CAPTURE,表示定义了一个视频采集流类型的buffer。fmt中,pix为表示图形格式的v4l2_pix_format型结构体。需要设定pix里的几个变量,pixelformat表示采集格式,设置为V4L2_PIX_FMT_YUV420;width、height表示图像的宽度、高度,以字节为单位;sizeimage表示图像所占的存储空间大小,以字节为单位;bytesperline表示每一行的字节数。赋值后,用ioctl函数通过这个结构体对fd_ v4l2进行设置。

  struct v4l2_format

  { enum v4l2_buf_type type;

  union

  { struct v4l2_pix_format pix; // V4L2_BUF_TYPE_VIDEO_CAPTURE

  struct v4l2_window win; // V4L2_BUF_TYPE_VIDEO_OVERLAY

  __u8 raw_data[200]; // user-defined

  } fmt;

  };

  (3)设置视频采集的帧率

  结构体v4l2_streamparm来描述视频流的属性,它由type和联合体parm构成。type同上,由于选的是V4L2_BUF_TYPE_VIDEO_CAPTURE,所以仅需设定parm中的v412_capture型结构体capture即可。在其中, v4l2_fract型结构体timeperframe表示平均每一帧所占的时间,由其元素numerator和denominator共同决定,该时长为numerator/denominator;而capturemode则表示采集模式,采集高质量图片值为1,一般设为0。赋值之后,用ioctl函数通过这个结构体对fd_ v4l2进行设置。

  struct v4l2_streamparm

  { enum v4l2_buf_type type;

  union

  { struct v4l2_captureparm capture;

  struct v4l2_outputparm output;

  __u8 raw_data[200]; /* user-defined */

  } parm;

  };

  2.申请并设置视频采集的帧缓冲区

  前期初始化完成后,只是解决了一帧视频数据的格式和大小问题,而连续视频帧数据的采集需要用帧缓冲区队列的方式来解决,即要通过驱动程序在内存中申请几个帧缓冲区来存放视频数据。

  应用程序通过API接口提供的方法(VIDIOC_REQBUFS)申请若干个视频数据的帧缓冲区,申请帧缓冲区数量一般不低于3个,每个帧缓冲区存放一帧视频数据,这些帧缓冲区在内核空间。

  应用程序通过API接口提供的查询方法(VIDIOC_QUERYBUF)查询到帧缓冲区在内核空间的长度和偏移量地址。

  应用程序再通过内存映射方法(mmap),将申请到的内核空间帧缓冲区的地址映射到用户空间地址,这样就可以直接处理帧缓冲区的数据。

  (1)将帧缓冲区在视频输入队列排队,并启动视频采集

  在驱动程序处理视频的过程中,定义了两个队列:视频采集输入队列(incoming queues)和视频采集输出队列(outgoing queues),前者是等待驱动存放视频数据的队列,后者是驱动程序已经放入了视频数据的队列。如图2所示。

  应用程序需要将上述帧缓冲区在视频采集输入队列排队(VIDIOC_QBUF),然后可启动视频采集。

  (2)循环往复,采集连续的视频数据

  启动视频采集后,驱动程序开始采集一帧数据,把采集的数据放入视频采集输入队列的第一个帧缓冲区,一帧数据采集完成,也就是第一个帧缓冲区存满一帧数据后,驱动程序将该帧缓冲区移至视频采集输出队列,等待应用程序从输出队列取出。驱动程序接下来采集下一帧数据,放入第二个帧缓冲区,同样帧缓冲区存满下一帧数据后,被放入视频采集输出队列。

  应用程序从视频采集输出队列中取出含有视频数据的帧缓冲区,处理帧缓冲区中的视频数据,如存储或压缩。

  最后,应用程序将处理完数据的帧缓冲区重新放入视频采集输入队列,这样可以循环采集,如图1所示。

  

  图1 视频采集输入和输出队列示意图

  (3)最终停止采集,释放内存帧缓冲区

  3.用V4L2采集视频的程序流程和相关API

  V4L2采集视频操作基本按照打开视频设备、设置视频格式、启动视频采集,循环处理视频数据、停止视频采集、关闭视频设备,具体操作通过ioctl等函数来实现。一般操作流程如下:

  (1)打开视频设备文件。int fd=open("/dev/video0",O_RDWR);

  (2)查询视频设备的能力,比如是否具有视频输入,或者音频输入输出等。ioctl(fd_v4l, VIDIOC_QUERYCAP, &cap)

  (3)设置视频采集的参数

  设置视频的制式,制式包括PAL/NTSC,使用ioctl(fd_v4l, VIDIOC_S_STD, &std_id)

  设置视频图像的采集窗口的大小,使用ioctl(fd_v4l, VIDIOC_S_CROP, &crop)

  设置视频帧格式,包括帧的点阵格式,宽度和高度等,使用ioctl(fd_v4l, VIDIOC_S_FMT, &fmt)

  设置视频的帧率,使用ioctl(fd_v4l, VIDIOC_S_PARM, &parm)

  设置视频的旋转方式,使用ioctl(fd_v4l, VIDIOC_S_CTRL, &ctrl)

  (4)向驱动申请视频流数据的帧缓冲区

  请求/申请若干个帧缓冲区,一般为不少于3个,使用ioctl(fd_v4l, VIDIOC_REQBUFS, &req)

  查询帧缓冲区在内核空间中的长度和偏移量 ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf)

  (5)应用程序通过内存映射,将帧缓冲区的地址映射到用户空间,这样就可以直接操作采集到的帧了,而不必去复制。

  buffers[i].start = mmap (NULL, buffers[i].length, PROT_READ | PROT_WRITE, MAP_SHARED, fd_v4l, buffers[i].offset);

  (6)将申请到的帧缓冲全部放入视频采集输出队列,以便存放采集的数据。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

  (7)开始视频流数据的采集。 ioctl (fd_v4l, VIDIOC_STREAMON, &type)

  (8) 驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区,存完后将该帧缓冲区移至视频采集输出队列。

  (9)应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区。ioctl (fd_v4l, VIDIOC_DQBUF, &buf) ,应用程序处理该帧缓冲区的原始视频数据。

  (10)处理完后,应用程序的将该帧缓冲区重新排入输入队列,这样便可以循环采集数据。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

  重复上述步骤8到10,直到停止采集数据。

  (11)停止视频的采集。ioctl (fd_v4l, VIDIOC_STREAMOFF, &type)

  (12)释放申请的视频帧缓冲区unmap,关闭视频设备文件close(fd_v4l)。

  以上的程序流程,包含了视频设备采集连续的视频数据的逻辑关系。而在实际运用中,往往还要加入对视频数据进行处理(如压缩编码)的工作,否则,视频流数据量相当大,需要很大的存储空间和传输带宽。

  上述过程中,每一个帧缓冲区都有一个对应的状态标志变量,其中每一个比特代表一个状态

  V4L2_BUF_FLAG_UNMAPPED 0B0000

  V4L2_BUF_FLAG_MAPPED 0B0001

  V4L2_BUF_FLAG_ENQUEUED 0B0010

  V4L2_BUF_FLAG_DONE 0B0100

  缓冲区的状态转化如图2所示。

  

  图2 缓冲区的状态标志转化图

  三、结束语

  V4L2是Linux环境下开发视频采集设备驱动程序的一套规范(API),它为驱动程序的编写提供统一的接口,并将所有的视频采集设备的驱动程序都纳入其的管理之中。V4L2不仅给驱动程序编写者带来极大的方便,同时也方便了应用程序的编写和移植,具有广泛的应用价值。


转自:http://www.xiangb.com/vga/vga_946.html

JavaWeb开发知识体系图

借鉴 :http://www.jikexueyuan.com/path/javaweb 一: 1. Java 核心知识   J2SE是J2EE的技术基础,所以熟练掌握J2SE的内容非常重要...
  • lupeng911129
  • lupeng911129
  • 2016年10月10日 15:15
  • 910

Linux背景知识

1,计算机硬件五大组成部分 运算器、控制器、存储器、输入设备和输出设备 2,CPU 主要由运算器和控制器组成,主要有两种CPU——RISC(精简指令集)和复杂指令集(CISC) RISC代表:ARM...
  • u011617742
  • u011617742
  • 2016年05月21日 20:15
  • 430

Linux驱动开发之 三 (那些必须要了解的硬件知识 之 存储器篇)

Linux驱动开发之 三 (那些必须要了解的硬件知识 之 存储器篇)本文重点学习存储器相关的基本知识,网络上对RAM,ROM,FLASH等有非常详细的介绍,老谢将这些知识点摘抄整理并加以注释如下。这个...
  • itxiebo
  • itxiebo
  • 2016年05月02日 13:40
  • 3049

我的编程之路——知识管理与知识体系

Table of Contents generated with DocToc Coder-Knowledge-Graph当我要学习一门编程语言:C++/Java/PHP/Swift/Rust/...
  • omnispace
  • omnispace
  • 2016年04月04日 15:58
  • 1326

搜索引擎和知识图谱那些事 (上).基础篇

这是一篇基础性文章,主要介绍搜索引擎和知识图谱的一些原理、发展经历和应用等知识。希望文章对你有所帮助~如果有错误或不足之处,还请海涵。(参考资料见后) 目录:一.搜索引擎 (一).搜索引擎的四个时代 ...
  • Eastmount
  • Eastmount
  • 2015年07月16日 19:54
  • 28000

知识图谱构建摸索

前言
  • whitley_gong
  • whitley_gong
  • 2016年12月22日 21:23
  • 3507

知识图谱的理解

记得我读小学那会儿,语文老师时常念的一些话就是:“知识改变未来,知识改变人生”,数学老师就会说:“学好数理化,走遍天下都不怕”,表达的都是知识的重要性,而时至今日,我身边已然没有人再说这些,因为对于知...
  • u013378306
  • u013378306
  • 2017年03月22日 17:03
  • 1743

综述 | 知识图谱发展概述

作者丨姜天文 学校丨哈工大SCIR博士生 本文经授权转载自公众号「哈工大SCIR」。 “知识图谱(Knowledge Graph)”的概念由 Google 公司在 2012 年提出[...
  • c9Yv2cf9I06K2A9E
  • c9Yv2cf9I06K2A9E
  • 2017年11月03日 00:00
  • 534

知识图谱的构建流程

简单介绍关于知识图谱的构建的流程: 1. 数据来源:(数据层(Data Level)的构建) 百科类数据(Wikipedia半结构化, Freebase结构化),  结构化数据(...
  • zhangqiagn1104
  • zhangqiagn1104
  • 2015年11月12日 15:58
  • 14420

三种知识图谱

三种实体搜索工具Knowledge Graph , Freebase , Wikidata 是目前最常见的三种实体(entity)搜索工具。这里对其进行简单介绍并作一些对比。 Knowledge G...
  • tobacco5648
  • tobacco5648
  • 2016年01月13日 23:11
  • 27186
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:嵌入式LINUX环境下视频采集知识
举报原因:
原因补充:

(最多只允许输入30个字)