V4L2框架下视频采集与LCD展示-应用层
Video4Linux2(V4L2)是当前Linux主流的、受到广泛认可的视频设备驱动框架。 它允许用户空间应用程序直接与视频设备（如摄像头、视频采集卡等）进行交互。
V4L2视频设备的操作就像对文件的操作一样，使用类似读取、写入文件的方式来进行，v4l2也都是通过open()、ioctl()、read()、close()来实现对视频设备的操作。
以下代码参考正点原子IMX93开发板资料中的代码。
硬件介绍
首先是摄像头是，ov5645 摄像头模块，mipi lcd屏幕。我们输入下面指令可以知道 摄像头支持video capture Mutiplaner 的模式进行视频采集。与video Capture 不同，现在网络上资料上大部分是video Capture的样例代码。因此，为了解决这种窘境，在这里对video capture Mutiplaner 的模式进行视频采集，并在lcd显示。给大家一个范例。
v4l2-ctl --all --device /dev/video0
这里介绍几个常用指令
v4l2-ctl --all --device /dev/video0
//获取摄像头设备的信息
v4l2-ctl --list-formats-ext
//获取摄像头设备支持的格式
gst-launch-1.0 v4l2src device=/dev/video0 io-mode=4 num-buffers=1 ! video/x-raw,format=YUY2,width=1920,height=1080,framerate=30/1 ! jpegenc ! filesink location=pic.jpeg
//读取一张图片，并保存为pic.jpeg
header（类比）
/***************************************************************
Copyright © ALIENTEK Co., Ltd. 1998-2024. All rights reserved.
文件名 : v4l2_camera.c
作者 : alientek
版本 : V1.0
描述 : V4L2摄像头应用编程实战
其他 : 无
论坛 : www.openedv.com
日志 : 初版 V1.0 2024/5/31 alientek创建
***************************************************************/
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/ioctl.h>
#include <string.h>
#include <errno.h>
#include <sys/mman.h>
#include <linux/videodev2.h>
#include <linux/fb.h>
#define FB_DEV "/dev/fb0" //LCD设备节点
#define VIDEO_DEV "/dev/video0" //多平面摄像头设备节点
#define FRAMEBUFFER_COUNT 3 //帧缓冲数量
/*** 5.5寸屏幕选择下面这个分辨率***/
#if 1
#define VIDEO_SET_WIGTH 720 //设置摄像头分辨率
#define VIDEO_SET_HEIGHT 640
#endif
/*** 10.1寸屏幕选择下面这个分辨率***/
#if 0
#define VIDEO_SET_WIGTH 1280
#define VIDEO_SET_HEIGHT 720
#endif
/*** 描述一个帧缓冲的信息 ***/
typedef struct cam_buf_info {
unsigned short *start; //帧缓冲起始地址
unsigned long length; //帧缓冲长度
} cam_buf_info;
/*** 摄像头像素格式及其描述信息 ***/
typedef struct camera_format {
unsigned char description[32]; //字符串描述信息
unsigned int pixelformat; //像素格式
} cam_fmt;
static int width; //LCD宽度
static int height; //LCD高度
static int fb_fd = -1; //LCD设备文件描述符
static int v4l2_fd = -1; //摄像头设备文件描述符
static unsigned short *screen_base = NULL; //LCD显存基地址
static cam_buf_info buf_infos[FRAMEBUFFER_COUNT];
static cam_fmt cam_fmts[10];
static int frm_width, frm_height; //视频帧宽度和高度
FB框架打开mipi 屏幕并初始化
要知道我们drm框架兼容FB（framebuffer）框架。它的AP函数也支持。
//初始化lcd
static int fb_dev_init(void)
{
struct fb_var_screeninfo fb_var = {0};
struct fb_fix_screeninfo fb_fix = {0};
unsigned long screen_size;
/* 打开framebuffer设备 */
fb_fd = open(FB_DEV, O_RDWR);
if (0 > fb_fd) {
fprintf(stderr, "open error: %s: %s\n", FB_DEV, strerror(errno));
return -1;
}
/* 获取framebuffer设备信息 */
ioctl(fb_fd, FBIOGET_VSCREENINFO, &fb_var);
ioctl(fb_fd, FBIOGET_FSCREENINFO, &fb_fix);
screen_size = fb_fix.line_length * fb_var.yres;
width = fb_var.xres; //获取x
height = fb_var.yres;//获取y
printf("LCD的分辨率：width:%d *height:%d\r\n",width,height);
/* 内存映射 */
screen_base = mmap(NULL, screen_size, PROT_READ | PROT_WRITE, MAP_SHARED, fb_fd, 0);
if (MAP_FAILED == (void *)screen_base) {
perror("mmap error");
close(fb_fd);
return -1;
}
/* LCD背景刷黑屏 */
memset(screen_base, 0x00, screen_size);
return 0;
}
打开摄像头设备
static int v4l2_dev_init(void)
{
struct v4l2_capability cap;
/*打开摄像头*/
v4l2_fd = open(VIDEO_DEV,O_RDWR);
if (0 > v4l2_fd) {
fprintf(stderr, "open error: %s: %s\n", VIDEO_DEV, strerror(errno));
close(fb_fd);
return -1;
}
/* 查询设备功能 */
bzero(&cap, sizeof(cap));
if (ioctl(v4l2_fd, VIDIOC_QUERYCAP, &cap) == -1)
{
printf("Failed to obtain basic camera information: %s\n", strerror(errno));
close(fb_fd);
close(v4l2_fd);
exit(0);
}
/*显示摄像头的一些基本信息*/
printf("Drive：%s\n", cap.driver);
printf("Graphics：%s\n", cap.card);
printf("Bus：%s\n", cap.bus_info);
printf("version：%d\n", cap.version);
/* 判断是否是多平面视频采集设备 */
if (!(V4L2_CAP_VIDEO_CAPTURE_MPLANE & cap.capabilities)) {
fprintf(stderr, "Error: %s: No capture video device!\n",VIDEO_DEV);
close(v4l2_fd);
return -1;
}
return 0;
}
获取支持的格式和功能并打印
/*获取摄像头枚举格式*/
static void v4l2_enum_formats(void)
{
struct v4l2_fmtdesc fmtdesc = {0};
/* 枚举摄像头所支持的所有像素格式以及描述信息 */
fmtdesc.index = 0;
fmtdesc.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
while (0 == ioctl(v4l2_fd, VIDIOC_ENUM_FMT, &fmtdesc)) {
/*将枚举出来的格式以及描述信息存放在数组中*/
cam_fmts[fmtdesc.index].pixelformat = fmtdesc.pixelformat;
strcpy(cam_fmts[fmtdesc.index].description, fmtdesc.description);
fmtdesc.index++;
}
}
/*摄像头枚举格式打印*/
static void v4l2_print_formats(void)
{
int i;
struct v4l2_frmsizeenum frmsize = {0};
frmsize.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
for (i = 0; cam_fmts[i].pixelformat; i++) {
printf("format<0x%x>, description<%s>\n", cam_fmts[i].pixelformat,
cam_fmts[i].description);
/*枚举出摄像头所支持的所有视频采集分辨率*/
frmsize.index = 0;
frmsize.pixel_format = cam_fmts[i].pixelformat;
while (0 == ioctl(v4l2_fd, VIDIOC_ENUM_FRAMESIZES, &frmsize)) {
printf("size<%d*%d> ",
frmsize.discrete.width,
frmsize.discrete.height);
frmsize.index++;
printf("\n");
}
printf("\n");
}
}
配置摄像头采样格式
/* 设置摄像头格式，但是不能设置帧率,也获取不到，摄像头默认锁定30fps*/
static int v4l2_set_format(void)
{
struct v4l2_format fmt = {0};
/* 设置帧格式 */
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;//type类型
fmt.fmt.pix.width = VIDEO_SET_WIGTH; //视频帧宽度
fmt.fmt.pix.height = VIDEO_SET_HEIGHT;//视频帧高度
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_ABGR32; //像素格式
fmt.fmt.pix.field = V4L2_FIELD_NONE; //逐行存储每一帧
if (0 > ioctl(v4l2_fd, VIDIOC_S_FMT, &fmt)) {
fprintf(stderr, "ioctl error: VIDIOC_S_FMT: %s\n", strerror(errno));
return -1;
}
/*** 判断是否已经设置为我们要求的ABGR32像素格式
如果没有设置成功表示该设备不支持ABGR32像素格式 */
if (V4L2_PIX_FMT_ABGR32 != fmt.fmt.pix.pixelformat) {
fprintf(stderr, "Error: the device does not support ARGB32 format!\n");
return -1;
}
frm_width = fmt.fmt.pix.width; //获取实际的帧宽度
frm_height = fmt.fmt.pix.height;//获取实际的帧高度
printf("frame size：<%d * %d>\n", frm_width, frm_height);
return 0;
}
向内核申请帧缓冲队列并映射
static int v4l2_init_buffer(void)
{
struct v4l2_requestbuffers reqbuf = {0};//用于请求分配缓冲区
struct v4l2_buffer buf = {0}; //用于描述和操作缓冲区
/* 申请帧缓冲 */
reqbuf.count = FRAMEBUFFER_COUNT; //帧缓冲的数量
reqbuf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
reqbuf.memory = V4L2_MEMORY_MMAP;
//VIDIOC_REQBUFS IOCTL 命令向设备请求分配缓冲区
if (0 > ioctl(v4l2_fd, VIDIOC_REQBUFS, &reqbuf)) {
fprintf(stderr, "ioctl error: VIDIOC_REQBUFS: %s\n", strerror(errno));
return -1;
}
/* 建立内存映射 */
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
buf.memory = V4L2_MEMORY_MMAP;
/*查询并映射每个缓冲区*/
for (buf.index = 0; buf.index < FRAMEBUFFER_COUNT; buf.index++) {
struct v4l2_plane planes[VIDEO_MAX_PLANES]; //VIDEO_MAX_PLANES定义了多平面视频格式中最大平面的数量
buf.m.planes = planes;
buf.length = VIDEO_MAX_PLANES;
if (0 > ioctl(v4l2_fd, VIDIOC_QUERYBUF, &buf)) {
fprintf(stderr, "ioctl error: VIDIOC_QUERYBUF: %s\n", strerror(errno));
return -1;
}
printf("buf.length = %u\n", buf.length);
printf("buf.m.offset = %u\n", buf.m.planes[0].m.mem_offset);
buf_infos[buf.index].length = buf.m.planes[0].length;
buf_infos[buf.index].start = mmap(NULL, buf_infos[buf.index].length,
PROT_READ | PROT_WRITE, MAP_SHARED,
v4l2_fd, buf.m.planes[0].m.mem_offset);
/*判断内存映射是否成功*/
if (MAP_FAILED == buf_infos[buf.index].start) {
perror("mmap error");
return -1;
}
}
/* 入队 */
for (buf.index = 0; buf.index < FRAMEBUFFER_COUNT; buf.index++) {
if (0 > ioctl(v4l2_fd, VIDIOC_QBUF, &buf)) {
fprintf(stderr, "ioctl error: VIDIOC_QBUF: %s\n", strerror(errno));
return -1;
}
}
return 0;
}
开始采集
static int v4l2_stream_on(void)
{
/* 打开摄像头、摄像头开始采集数据 */
enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
if (0 > ioctl(v4l2_fd, VIDIOC_STREAMON, &type)) {
fprintf(stderr, "ioctl error: VIDIOC_STREAMON: %s\n", strerror(errno));
return -1;
}
return 0;
}
读取摄像头图像数据，并显示
static void v4l2_read_data(void)
{
struct v4l2_buffer buf = {0};
struct v4l2_plane planes[VIDEO_MAX_PLANES];
unsigned int *base;
unsigned int *start;
int min_w, min_h;
int j;
/*比较屏幕和摄像头分辨率，取最小值来显示在LCD上*/
if (width > frm_width)
min_w = frm_width;
else
min_w = width;
if (height > frm_height)
min_h = frm_height;
else
min_h = height;
printf(" min_w :%d min_h:%d\n", min_w, min_h);
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE_MPLANE;
buf.memory = V4L2_MEMORY_MMAP;
buf.m.planes = planes;
buf.length = VIDEO_MAX_PLANES;
for (;;) {
for (buf.index = 0; buf.index < FRAMEBUFFER_COUNT; buf.index++) {
//出队
if (0 > ioctl(v4l2_fd, VIDIOC_DQBUF, &buf)) {
fprintf(stderr, "ioctl error: VIDIOC_DQBUF: %s\n", strerror(errno));
continue;
}
//处理数据
for (j = 0, base = (unsigned int *)screen_base, start = (unsigned int *)buf_infos[buf.index].start;
j < min_h; j++) {
memcpy(base, start, min_w * 4); // ABGR32 一个像素占4个字节
base += width; // LCD显示指向下一行
start += frm_width; // 指向下一行数据
}
/*数据处理完之后、再入队、往复*/
if (0 > ioctl(v4l2_fd, VIDIOC_QBUF, &buf)) {
fprintf(stderr, "ioctl error: VIDIOC_QBUF: %s\n", strerror(errno));
continue;
}
}
}
}
main
int main(void){
/* 初始化LCD */
if (fb_dev_init())
exit(EXIT_FAILURE);
/* 初始化摄像头 */
if (v4l2_dev_init())
exit(EXIT_FAILURE);
/* 枚举所有格式并打印摄像头支持的分辨率及帧率 */
v4l2_enum_formats();
v4l2_print_formats();
/* 设置摄像头格式，但是不能设置帧率 */
if (v4l2_set_format())
exit(EXIT_FAILURE);
/* 初始化帧缓冲：申请、内存映射、入队 */
if (v4l2_init_buffer())
exit(EXIT_FAILURE);
/* 开启视频采集 */
if (v4l2_stream_on())
exit(EXIT_FAILURE);
/* 读取数据：出队 */
v4l2_read_data(); //在函数内循环采集数据、将其显示到LCD屏
}
扫一扫
1909
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
