Android 利用V4L2 预览MJPEG格式 USB camera

最新推荐文章于 2023-01-24 22:01:13 发布
最新推荐文章于 2023-01-24 22:01:13 发布
阅读量3.6k 收藏 8
点赞数 1
文章标签： android python java c++ opencv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhongliu/article/details/122576499
版权

介绍

上一篇文章Android 利用V4L2 调用camera介绍了使用V4L2 接口预览camera的基本方法。目前接触过的usb camera支持的图像格式基本上只包括3种：

  • YUV
  • MJPEG
  • H264
    其中YUV是原始数据，MJPEG和H264都是压缩编码的数据。所以对于MJPEG和H264需要先解码为原始图像数据，才能给到android显示。这篇文章主要介绍对MJPEG数据的处理

准备

先看一下此次修改的效果图

GIF 2022-1-18 15-35-09.gif
  • UI
    让用户自己选择对应的格式和分辨率
  • 解码
    一般可采用的有opencv，ffmpeg，libyuv。此次采用libyuv，libyuv是一个谷歌的开源项目，跨平台，处理速度很快。针对此次MJPEG处理是比较合适的。libyuv解码MJPEG需要用到libjpeg

camera使用的基本流程在文章Android 利用V4L2 调用camera已经介绍过，

正常的流程主要是以下几步

  1. SurfaceView创建
  2. SurfaceView创建成功回调
  3. 打开camera
  4. camera打开成功回调
  5. 获取camera参数
  6. 弹框用户选择对应分辨率
  7. 设置对应pixformat和分辨率
  8. 开始预览
  9. 获取到MJPEG数据后，利用libyuv解码
  10. Android nativieWindow显示

此次大体流程没有变化，着重介绍修改的地方

让用户选择预览图像格式和分辨率

在camera打开成功的回调种，即 CameraStateCallback 的回调onOpened 获取usb camera支持的参数，camera参数格式可以参见文章Android 利用V4L2 调用camera中的获取camera的参数

class CameraStateCallback implements IStateCallback {

        @Override
        public void onOpened() {
            Log.d(TAG, "onOpened");

            parameters = adCamera.getCameraParameters();

            pixformats = new String[parameters.size()];
            resolutions = new String[parameters.size()][];

            String sPixFormat;
            for (int i = 0; i < parameters.size(); i++) {
                Log.e(TAG, "format:" + parameters.get(i).pixFormat);
                switch (parameters.get(i).pixFormat) {
                    case YUYV:
                        sPixFormat = "YUYV";
                        break;
                    case MJPEG:
                        sPixFormat = "MJPEG";
                        break;
                    case H264:
                        sPixFormat = "H264";
                        break;
                    default:
                        sPixFormat = "UNKNOW";
                        break;
                }

                pixformats[i] = sPixFormat;

                int resolutionSize = parameters.get(i).frames.size();

                resolutions[i] = new String[resolutionSize];

                for (int j = 0; j < resolutionSize; j++) {
                    String resolution = parameters.get(i).frames.get(j).width + "*" + parameters.get(i).frames.get(j).height;
                    resolutions[i][j] = resolution;
                }
            }

            showDialog();
        }

将获取到的参数解析到以下两个数组中

String[] pixformats;
    String[][] resolutions;

dialog采用加载ExpandableListView，这里就不详细介绍。
点击确认后，设置预览参数并开始预览

ret = adCamera.setPreviewParameter(previewWidth, previewHeight, parameters.get(pixClick).pixFormat);

surfaceView.setAspectRatio(previewWidth, previewHeight);
...
adCamera.setSurface(surfaceHolder);
...
cameraDataCallback = new CameraDataCallback();
adCamera.startPreview(cameraDataCallback);

libjpeg库的编译移植与使用

这里使用AS编译libJPEG-turbo源码

  • 新建Android工程libjpeg，并将libjpeg-turbo源码全部拷贝到src/main/cpp目录下

    libjpeg.png

  • 修改Android工程的build.gradle，配置libjpeg-turbo的CmakeLists.txt

defaultConfig {
        applicationId "com.test.libjpeg"
        minSdkVersion 16
        targetSdkVersion 30
        versionCode 1
        versionName "1.0"

        externalNativeBuild {
            cmake {
                cppFlags ""
                // 配置编译的平台版本
                abiFilters "armeabi-v7a", "arm64-v8a"
            }
        }

        testInstrumentationRunner "androidx.test.runner.AndroidJUnitRunner"
    }

    externalNativeBuild {
        cmake {
            path "src\\main\\cpp\\CMakeLists.txt"//路径改为cpp文件夹下CMakeList的路径
        }

    }
  • 编译工程，生成对应的so和.h 文件
    编译过程很顺利，没碰到什么问题。倒是从网上下载下来的总是有编译错误，所以这里就不提供工程了。

将libjpeg 生成的so和h文件添加到AnV4L2Camera工程中

  • 在v4l2camera模块cpp文件下新建libjpeg文件夹，将libjpeg几个相关头文件拷贝到该目录下

    includelibjpeg.png

其中 jconfig.h 在工程libjpeg以下目录

./app/.cxx/cmake/debug/arm64-v8a/jconfig.h
./app/.cxx/cmake/debug/armeabi-v7a/jconfig.h

其他头文件都在在工程libjpeg以下目录

./app/src/main/cpp/

  • 在 v4l2camera模块新建文件夹src\main\jniLibs，将libjpeg.so拷贝到该文件夹下

    libjpegso.png

  • 修改v4l2camera模块 CMakeLists.txt

# 指定libjpeg头文件的路径
include_directories(include libjpeg)

# 指定libjpeg动态库路径
set(jpeglibs "${CMAKE_SOURCE_DIR}/../jniLibs")

# 导入第三方库：libjpeg.so
add_library(libjpeg SHARED IMPORTED)
set_target_properties(libjpeg PROPERTIES
        IMPORTED_LOCATION "${jpeglibs}/${ANDROID_ABI}/libjpeg.so")

target_link_libraries( # Specifies the target library.
        v4l-android
        android
        libjpeg

        # Links the target library to the log library
        # included in the NDK.
        ${log-lib})

libyuv移植

这里采用直接将libyuv源码导入到AnV4L2Camera工程中

  • 下载libyuv https://chromium.googlesource.com/libyuv/libyuv
  • 将 libyuv 源码 include 目录下的 libyuv 目录下的头文件和 libyuv.h 一起拷贝到 v4l2camera模块下的 src\main\cpp\include目录
  • 将 libyuv 源码 source 目录下的全部文件拷贝到 v4l2camera模块新建文件夹src\main\cpp\libyuv
libyuv.png
  • 修改v4l2camera模块 CMakeLists.txt
# 导入libyuv头文件路径
include_directories(include libjpeg)

# 打开宏HAVE_JPEG，libyuv才会去编译和使用libjpeg
add_definitions(-DHAVE_JPEG)

# 导入libyuv 源文件路径
file(GLOB src_files *.cpp  libyuv/source/*.cc)

libyuv解码MJPEG

int src_width = 0;
        int src_height = 0;

        libyuv::MJPGSize(raw, rSize, &src_width, &src_height);

        //经图片保存，16进制查看保存的改格式为   64 82 35 ff    --   B G R A
        //stride 跨距, 它描述一行像素中, 该颜色分量所占的 byte 数目
        libyuv::MJPGToARGB(raw, rSize, preview, width * 4, src_width,
                                 src_height, width, height);

#ifdef SAVE_JPEG
        if (!WRITE_FILE) {
            const char *path = "/sdcard/argb.bmp"; // 路径
            bmp_write(preview, width, height, path);
            WRITE_FILE = true;
        }
#endif

        //WINDOW_FORMAT_RGBA_8888  排列顺序为 R G B A
        unsigned char temp;
        for (int i = 0; i < width * height * 4; i = i + 4) {
            temp = preview[i+2];
            preview[i+2] = preview[i];
            preview[i] = temp;
        }

raw是通过v4l2获取到的mjpeg格式数据，主要通过libyuv::MJPGToARGB将数据转换成rgba数据。 通过将转换后的数据保存成bmp，用hex格式打开发现，数据保存的格式为BGRA，这个可能windows上或bmp格式的数据就是用这种方式保存的，属于big endian。 android上WINDOW_FORMAT_RGBA_8888 排列顺序为 RGBA，所以还需要做下转换，颜色才能正常。

相关代码已经更新到demo https://github.com/yizhongliu/AnV4L2Camera

参考https://blog.csdn.net/AndrExpert/article/details/100123845https://blog.csdn.net/tyyj90/article/details/120294921

蓝狮
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
ipcam-view:Android上的MJPEG视频流
04-30
ipcam视图 Android MJPEG视频流变得简单！ 一个包装库，围绕着著名的和项目。 如果您在识别IpCam网址时遇到问题，请点击此 特征 android-camera-axis默认支持 SimpleMjpegView机支持 处理凭证和cookie 一次活动中使用多个摄像头 快照 翻转和旋转图像 视频录制 定制外观 Gradle依赖 repositories { maven { url ' https://jitpack.io ' } } dependencies { implementation ' com.github.niqdev:ipcam-view:<LATEST> ' } 演示应用 用法 添加到您的布局：示例 < RelativeLayout xmlns : android = " http://sche
MjpegAndroid:从 ip 摄像头流式传输到 android (mjpeg)
07-09
MjpegAndroid 从 ip 摄像头流式传输到 android (mjpeg)
android的camera学习（4）——V4L2框架及源码整理
永不秃头的程序员的博客
07-11 3398
一、什么是V4L2 相机驱动层位于HAL Moudle与硬件层之间，借助linux内核驱动框架，以文件节点的方式暴露接口给用户空间，让HAL Module通过标准的文件访问接口，从而能够将请求顺利地下发到内核中，而在内核中，为了更好的支持视频流的操作，早先提出了v4l视频处理框架，但是由于操作复杂，并且代码无法进行较好的重构，难以维护等原因，之后便衍生出了v4l2框架。按照v4l2标准，它将一个数据流设备抽象成一个videoX节点，从属的子设备都对应着各自的v4l2_subdev实现，并且通过media c
Android CameraX学习记录（二） kotlin mjepg服务
狗古的博客
01-24 867
Android 用kotlin实现cameraX获取图像创建Mjpeg服务端
android camera V4L2 FIMC
u010783226的专栏
12-30 500
camera
安卓系统采用v4l2接口打开YUYV和MJPEG摄像头，支持热插拔。
12-25 4764
安卓系统采用v4l2接口打开YUYV和MJPEG摄像头，支持热插拔。 1､需求：安卓5.1系统，视频监控门禁主板(rk3288)上要用到两个摄像头，且两个摄像头要同时打开。 2､背景：开始使用安卓系统的camera 2接口时，无法同时打开两个摄像头。 然后有个摄像头厂商帮改了一下摄像头固件，可以用camera 2接口同时打开两个摄像头了，但有时摄像头死机。 听说uvc接口非常稳定，可是我们的安卓...
Opencv4+v4l2以mjpeg读取双目摄像头
01-11
在本文中，我们将深入探讨如何使用OpenCV4和V4L2库来读取双目摄像头的MJPEG视频流。双目摄像头是一种特殊类型的摄像头，它由两个并排的传感器组成，可以捕捉到立体图像，进而实现深度感知。OpenCV4是一个强大的...
v4l2 采集uvc camera mjpeg sample
06-24
在linux下采集uvc camera mjpeg sample
USBCamera+v4l2+rkisp+rkmpp+opencv.rar
09-17
标题中的"USBCamera+v4l2+rkisp+rkmpp+opencv.rar"揭示了这个项目涉及的关键技术组件，它们是USB摄像头、Video4Linux2（V4L2）、Rockchip Image Processing Pipeline（RKISP）、Rockchip Media Processing Pipeline...
安卓系统采用v4l2接口(类uvc)打开YUYV和MJPEG摄像头，支持热插拔。
12-25
v4l2接口支持两种摄像头数据格式“V4L2_PIX_FMT_YUYV”和“V4L2_PIX_FMT_MJPEG”，网上大部分示例给出的是采用“V4L2_PIX_FMT_YUYV”格式的， private boolean isMJPEGCamera=false; //false--V4L2_PIX_FMT_YUYV,...
V4L2 usb camera获取帧.rar
06-08
综上所述，"V4L2 usb camera获取帧"涉及到的是Linux环境下利用V4L2接口编程操作USB摄像头，获取实时视频帧的过程。这个过程涵盖了设备操作、参数设置、缓冲区管理等多个方面，对于理解和开发Linux多媒体应用至关重要...
基于QT的V4L2摄像头视频采集并显示
08-01
在本文中，我们将深入探讨如何使用QT框架与V4L2（Video for Linux Two）接口进行摄像头视频采集，并实现在GUI应用中显示摄像头图像。V4L2是Linux内核提供的一种API，用于与视频捕获设备（如摄像头）进行交互。QT则是...
usb摄像头采集mjpg格式的数据
12-24
本文将深入探讨USB摄像头如何采集MJPEG格式的数据，并介绍与Linux下的V4L2（Video for Linux Two）接口相关的知识。 首先，让我们理解MJPEG的工作原理。MJPEG不是一种真正的视频流编码，而是逐帧编码每个视频帧为...
Linux下使用GTK+V4L2进行的视频开发
11-13
总结来说，这个项目展示了如何在Linux环境下利用GTK+与V4L2进行视频开发，处理MJPEG和YUYV两种视频流格式，并通过GUI显示视频。这样的技术组合为开发实时视频应用程序提供了基础，适用于监控系统、视频会议、图像...
Linux下使用Qt+V4L2测试UVC相机
12-23
在Linux环境下，开发一款应用程序与UVC（USB Video Class）相机进行交互，通常会涉及到Qt图形界面库和V4L2（Video for Linux Two）框架。这个项目标题"Linux下使用Qt+V4L2测试UVC相机"揭示了开发者使用Qt作为前端UI...
mjpeg解码到rgb
qianbo042311的博客
07-07 3388
mjpeg解码 mjpeg 解码可以使用opencv ，或者libjpeg，当系统中本来就使用ffmpeg的时候，可以使用ffmpeg直接解码 void MJPEGToRGB(unsigned char *data, unsigned int dataSize, unsigned char *outBuffer) { //元数据装填到packet AVPacket *avPkt = av_packet_alloc(); avPkt->size = dataSize;
Android Camera V4L2框架的驱动层分析
weixin_49303682的博客
05-15 1108
1.V4L2 框架 v4l2驱动框架主要的对象有video_device、v4l2_device、v4l2_subdev、videobuf。 video_device： 一个字符设备，为用户空间提供设备节点(/dev/videox)，提供系统调用的相关操作(open、ioctl…) v4l2_device： 嵌入到video_device中，表示一个v4l2设备的实例 v4l2_subdev： 依附在v4l2_device之下，并表示一个v4l2设备的子设备，一个v4l2_devide下可以有
虚拟摄像头之一: android8.1 移植 v4l2loopback 虚拟摄像头
weixin_38387929的博客
08-02 5616
笔者计划通过虚拟摄像头系列文章、让读者完整掌握在android系统中实现过程和应用方法。以作备忘之用、再则让有需求朋友可以参考。
使用v4l2获取mjpeg格式图片的C语言代码示例
最新发布
06-13
以下是使用v4l2获取mjpeg格式图片的C语言代码示例： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <fcntl.h> #include <unistd.h> #include <sys/ioctl.h> #include <sys/mman.h> #include <linux/videodev2.h> #define CAMERA_DEVICE "/dev/video0" #define CAPTURE_FILE "capture.jpeg" #define BUFFER_COUNT 4 struct buffer { void *start; size_t length; }; int main() { int fd; struct v4l2_capability cap; struct v4l2_format fmt; struct v4l2_requestbuffers req; struct v4l2_buffer buf; enum v4l2_buf_type type; struct buffer *buffers; int i, n_buffers; FILE *fp; // 打开摄像头设备 fd = open(CAMERA_DEVICE, O_RDWR); if (fd == -1) { perror("Failed to open camera device"); return EXIT_FAILURE; } // 查询摄像头设备的能力 if (ioctl(fd, VIDIOC_QUERYCAP, &cap) == -1) { perror("Failed to query camera device"); return EXIT_FAILURE; } // 检查是否支持视频捕获 if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE)) { fprintf(stderr, "Camera device does not support video capture\n"); return EXIT_FAILURE; } // 检查是否支持流形式的视频捕获 if (!(cap.capabilities & V4L2_CAP_STREAMING)) { fprintf(stderr, "Camera device does not support streaming\n"); return EXIT_FAILURE; } // 设置摄像头设备的格式 memset(&fmt, 0, sizeof(fmt)); fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; fmt.fmt.pix.width = 640; fmt.fmt.pix.height = 480; fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_MJPEG; if (ioctl(fd, VIDIOC_S_FMT, &fmt) == -1) { perror("Failed to set camera device format"); return EXIT_FAILURE; } // 请求摄像头设备的缓冲区 memset(&req, 0, sizeof(req)); req.count = BUFFER_COUNT; req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; req.memory = V4L2_MEMORY_MMAP; if (ioctl(fd, VIDIOC_REQBUFS, &req) == -1) { perror("Failed to request camera device buffers"); return EXIT_FAILURE; } // 映射摄像头设备的缓冲区 buffers = calloc(req.count, sizeof(*buffers)); for (i = 0, n_buffers = 0; i < req.count; i++) { memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = i; if (ioctl(fd, VIDIOC_QUERYBUF, &buf) == -1) { perror("Failed to query camera device buffer"); return EXIT_FAILURE; } buffers[i].length = buf.length; buffers[i].start = mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, fd, buf.m.offset); if (buffers[i].start == MAP_FAILED) { perror("Failed to map camera device buffer"); return EXIT_FAILURE; } n_buffers++; } // 启动摄像头设备的视频流 for (i = 0; i < n_buffers; i++) { memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = i; if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) { perror("Failed to enqueue camera device buffer"); return EXIT_FAILURE; } } type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (ioctl(fd, VIDIOC_STREAMON, &type) == -1) { perror("Failed to start camera device stream"); return EXIT_FAILURE; } // 从摄像头设备中获取图片 memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; if (ioctl(fd, VIDIOC_DQBUF, &buf) == -1) { perror("Failed to dequeue camera device buffer"); return EXIT_FAILURE; } // 保存图片到文件 fp = fopen(CAPTURE_FILE, "wb"); if (fp == NULL) { perror("Failed to open capture file"); return EXIT_FAILURE; } fwrite(buffers[buf.index].start, buf.bytesused, 1, fp); fclose(fp); // 停止摄像头设备的视频流 type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (ioctl(fd, VIDIOC_STREAMOFF, &type) == -1) { perror("Failed to stop camera device stream"); return EXIT_FAILURE; } // 释放摄像头设备的缓冲区 for (i = 0; i < n_buffers; i++) { if (munmap(buffers[i].start, buffers[i].length) == -1) { perror("Failed to unmap camera device buffer"); return EXIT_FAILURE; } } free(buffers); // 关闭摄像头设备 if (close(fd) == -1) { perror("Failed to close camera device"); return EXIT_FAILURE; } return EXIT_SUCCESS; } ``` 这段代码使用v4l2库调用摄像头设备的API，请求摄像头设备的缓冲区，映射缓冲区，启动视频流，从视频流中获取一张图片，保存图片到文件，停止视频流，释放缓冲区，最后关闭摄像头设备。请注意，此代码中的图片格式为MJPEG，如果你需要获取其他格式的图片，需要修改代码中的像素格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值