高通平台获取预览/拍照/录像YUV数据

最新推荐文章于 2024-04-07 10:33:18 发布

Easyhood

最新推荐文章于 2024-04-07 10:33:18 发布

阅读量3k

点赞数 1

分类专栏：技术总结文章标签：高通 camera no-display-mode

技术总结专栏收录该内容

69 篇文章 5 订阅

订阅专栏

前言
在高通平台, 如果要集成第三方视频或图像处理算法, 通常会在HAL层进行集成, 当然App层一般也可以通过JNI或者OpenGL来实现, 但效率一般没有直接在HAL层集成高, 原因主要由两点:

HAL层能直接获取YUV数据(高通平台App一般可通过设置pictureFormat为NV21来返回YUV数据, MTK平台大多数不支持App层获取YUV数据), 且算法库多数是用C/C++写的, 可直接在HAL层集成, 无需JNI, 集成更方便.
HAL层集成算法, 算法处理完后, 可以走原始的硬件JPEG编码流程, 效率更高.

本文主要说明在高通平台Camera HAL1中如何获取相关YUV数据以及一些注意事项.
源码位置
高通Camera HAL代码位置:

hardware/qcom/camera/QCamera2/

此目录下的HAL为HAL1代码, HAL3目录为HAL3代码(废话), 我们这篇文章只关注HAL1代码
HAL目录下有几个文件需要注意一下:

QCamera2HWI.cpp 高通实现Google在Android中定义的CameraHardwareInterface.h代码, App调用的Camera接口最终都会通过这里调到mm-camera最后调到kernel, QCamera2HWI是类QCamera2HardwareInterface的缩写.

QCameraHWICallbacks.cpp 这个文件主要是类QCamera2HardwareInterface中定义的一些关于数据回调的静态方法, 重新命名方便对方法和功能进行区分, 让我们知道是相关回调方法, 我们截取YUV数据主要在此文件中.

QCameraParameters.cpp和Camera参数设置相关的类, 获取和设置参数会用到此类.

QCameraPostProc.cpp图像后处理的类, QCameraPostProcessor的缩写, 主要对YUV进行一些后处理,编码为JPEG等等, 也可以在此类中获取拍照的YUV数据.

截取YUV数据相关函数
由于高通平台提供的一下特性, 如ZSL(零延时拍照), no-display-mode(不设置预览surface也能拍照), 会导致YUV数据获取位置稍有不同, 主要分为以下情形:

非ZSL模式下拍照, 获取拍照YUV数据
此类型拍照, 获取YUV数据主要在如下两个函数中:

QCameraHWICallbacks.cpp QCamera2HardwareInterface::capture_channel_cb_routine(...)
QCameraPostProc.cpp QCameraPostProcessor::processPPData(...)

ZSL模式下拍照, 获取YUV数据
和非ZSL稍有不同:

QCameraHWICallbacks.cpp QCamera2HardwareInterface::zsl_channel_cb(...)
QCameraPostProc.cpp QCameraPostProcessor::processPPData(...)

注: 如果只是获取拍照YUV, 可以在QCameraPostProcessor::processPPData(…)中获取YUV数据, 这样就不用管是ZSL或者非ZSL, 这两种模式最终都会调到这里.

正常流程下获取预览YUV

QCameraHWICallbacks.cpp QCamera2HardwareInterface::preview_stream_cb_routine(...)

根据平台芯片不同, 有的可能在

QCameraHWICallbacks.cpp QCamera2HardwareInterface::synchronous_stream_cb_routine(...)

no-display-mode模式下获取预览YUV

QCameraHWICallbacks.cpp QCamera2HardwareInterface::nodisplay_preview_stream_cb_routine(...)

说明: 由于一些高通平台差异, 预览走的流程稍有差异, 在实际项目中, 请在相关函数中加log确认下当前走的流程. no-display-mode是指App打开Camera后, 在startPreview之前设置参数Parameters.set(“no-display-mode”, “1”);, 然后可以不设置预览surface进行预览拍照(主要用于双摄项目中, 副摄设置no-display-mode, 对用户不可见).

获取录像时YUV数据

QCameraHWICallbacks.cpp QCamera2HardwareInterface::video_stream_cb_routine(...)

获取录像时拍照的YUV数据

QCameraHWICallbacks.cpp QCamera2HardwareInterface::snapshot_channel_cb_routine(...)

获取YUV图像信息和Buffer地址
知道在何处截取YUV数据后, 还需知道如何从高通定义的相关结构体中获取和YUV相关的信息和实际buffer地址.上面所说的函数中, 都有一个类型为mm_camera_super_buf_t*的结构体指针, 我们需要通过如下步骤来找到拍照实际YUV数据的buffer地址

获取 QCameraChannel, 根据获取的数据类型不同, Channel也不同主要分为几种: QCAMERA_CH_TYPE_VIDEO(video), QCAMERA_CH_TYPE_SNAPSHOT(video snap), QCAMERA_CH_TYPE_ZSL(zsl), QCAMERA_CH_TYPE_CAPTURE(capture)
示例(zsl_channel_cb()中获取channel):

QCamera2HardwareInterface *pme = (QCamera2HardwareInterface *)userdata;
QCameraChannel *pChannel = pme->m_channels[QCAMERA_CH_TYPE_ZSL];

通过Channel获取QCameraStream和mm_camera_buf_def_t, 因为返回回来的数据可能有多帧(拍照的YUV, 缩略图等), 我们需要找到我们想要的数据, 示例代码如下:

mm_camera_buf_def_t* yuvFrame = NULL;
QCameraStream* stream = NULL;
// frame 为 mm_camera_super_buf_t 类型
for (uint32_t i = 0; i < frame->num_bufs; i++) {
    stream = pChannel->getStreamByHandle(frame->bufs[i]->stream_id);
    if (stream != NULL) {
        // 找到拍照数据
        if (stream->isOrignalTypeOf(CAM_STREAM_TYPE_SNAPSHOT)) {
            yuvFrame = frame->bufs[i];
            break;
        }
    }
}

通过步骤2基本就得到YUV数据了, YUV buffer地址为 yuvFrame->buffer以及buffer大小yuvFrame->frame_len

获取图像额外信息(宽, 高, 对齐后的宽高)
在高通平台, YUV数据一般会有对齐, 对齐是指为了处理效率更高, 图片宽高必须是某些数的整数倍(如 32或者64), 当然为什么对齐后处理效率更高, 这个好像是由于硬件设计的一些特性, 详细就不太清楚了. 如果图片宽高不是64位倍数, 对齐过后会在原图片右侧和下方留下无效像素, 当然经过JPEG硬件编码过后会被裁剪, 所以App层看到的是正常的, 只不过我们在HAL层获取的YUV数据是有无效像素的, 我们可以通过下面方法获取图片实际宽高和对齐后的宽高.

cam_frame_len_offset_t offset;
memset(&offset, 0, sizeof(cam_frame_len_offset_t));
cam_dimension_t dim;	
memset(&dim, 0, sizeof(dim));
//stream为步骤2中获取的QCameraStream*
stream->getFrameOffset(offset);
stream->getFrameDimension(dim);

图片实际宽为:dim.width, 高为:dim.height, 对齐后的宽为:offset.mp[0].stride, 高为:offset.mp[0].scanline
通过上面步骤就能获得完整的YUV数据和相关信息了, 剩下就是调用算法.
总结
总的来说, 高通平台HAL层(HAL1)获取YUV数据需要注意如下几点:

在不同位置获取不同数据, 主要分为几种类型

普通拍照(capture)
ZSL拍照
普通预览
no-display-mode预览
录像数据(video)
录像过程中拍照数据(snapshot)

获取YUV数据流程为: 获取Channel->获取Stream->找到属于拍照类型的帧(frame)
获取的YUV数据格式为NV21, 且有对齐处理(一般是32位或者64位对齐)