MM-Camera架构-ProcessCaptureRequest 流程分析

最新推荐文章于 2023-11-06 11:43:31 发布
最新推荐文章于 2023-11-06 11:43:31 发布
阅读量1.3k 收藏 5
点赞数
分类专栏： camera 文章标签： camera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42581177/article/details/133645338
版权

image

文章目录

processCaptureRequest_3_4

sdm660的摄像头走camera hal 3.4接口，每个预览帧，都是由camera service发起，通过camera HAL的CameraDeviceSession::processCaptureRequest_3_4接口，通知hal，请求一个预览帧。

hardware/interfaces/camera/device/3.4/default/CameraDeviceSession.cpp

Return<void> CameraDeviceSession::processCaptureRequest_3_4(
        const hidl_vec<V3_4::CaptureRequest>& requests,
        const hidl_vec<V3_2::BufferCache>& cachesToRemove,
        ICameraDeviceSession::processCaptureRequest_3_4_cb _hidl_cb)  {
    for (size_t i = 0; i < requests.size(); i++, numRequestProcessed++) {
        s = processOneCaptureRequest_3_4(requests[i]);
        }
    ...
}

Status CameraDeviceSession::processOneCaptureRequest_3_4(const V3_4::CaptureRequest& request)  {
    ...
    //@ 1.1 - 1.2
    status_t ret = mDevice->ops->process_capture_request(mDevice, &halRequest);
    ...
}

1.1 mDevice

mDevice由camera_device_t或者camera3_device_t定义。camera1和camera3代表的是CAMERA DEVICE API VERSION,camera3和canera1完全不一样。这里mDevice是camera3_device_t定义。

camera3_device_t:是 camera HAL 核心结构体之一，是对 venor camera HAL 实现的抽象，APP 通过 Framework对底层Camera设备（物理设备和逻辑虚拟设备）的操作都是通过对 camera3_device_t 实例对象来进行的。
camera3_device_t:主要用来表示Camera设备，其中定义了Camera3_device_ops操作集合，用来实现正常获取图像数据以及控制Camera的功能。

typedef struct camera3_device {
    hw_device_t common;
    camera3_device_ops_t *ops;
    void *priv;
} camera3_device_t;

HAL3的核心接口都是在camera3_device_ops中被定义。
camera3_device_ops结构体定义了一系列的函数指针，用来指向平台厂商实际的实现方法。

typedef struct camera3_device_ops {
    /*
    initialize
    何时被调用：在camera_modul_t中的open方法之后，其他camera3_device_ops方法之前被调用。
    主要作用：将上层实现的回调方法注册到HAL中，并根据需要在该方法中加入自定义的一些初始化操作。
    返回时间：在5ms内返回，最长不能超过10ms。
    */
    int (*initialize)(const struct camera3_device *,
            const camera3_callback_ops_t *callback_ops);

    /*
    configure_streams
    何时被调用：在Initialize方法完成之后，在调用process_capture_request方法之前被调用
    主要作用：重设当前正在运行的Pipeline以及设执行的输入输出流，其中它回见stream_list中的新的数据流替换之前配置的数据流。
    返回时间：500ms内返回，最长不能超过1000ms
    */
    int (*configure_streams)(const struct camera3_device *,
            camera3_stream_configuration_t *stream_list);

    int (*register_stream_buffers)(const struct camera3_device *,
            const camera3_stream_buffer_set_t *buffer_set);

    const camera_metadata_t* (*construct_default_request_settings)(
            const struct camera3_device *,
            int type);

    /*
    process_capture_request
    主要作用：下发单次新的capture request到HAL中，上层必须保证该方法的调用都是在一个线程中完成，而且该方法是异步的，
    其结果是通过HAL调用另一个接口process_capture_result()来返回结果给上层，在使用过程中，通过in-flight机制，保证短时间内下发足够多的requst，从而满足帧率要求。
    */
    int (*process_capture_request)(const struct camera3_device *,
            camera3_capture_request_t *request);

    void (*get_metadata_vendor_tag_ops)(const struct camera3_device*,
            vendor_tag_query_ops_t* ops);

    void (*dump)(const struct camera3_device *, int fd);

    int (*flush)(const struct camera3_device *);

    void (*signal_stream_flush)(const struct camera3_device*,
            uint32_t num_streams,
            const camera3_stream_t* const* streams);

    int (*is_reconfiguration_required)(const struct camera3_device*,
            const camera_metadata_t* old_session_params,
            const camera_metadata_t* new_session_params);

    /* reserved for future use */
    void *reserved[6];
} camera3_device_ops_t;

1.2 mDevice->ops->process_capture_request

继续mDevice->ops->process_capture_request
在hardware/qcom/camera/QCamera2/HAL3/QCamera3HWI.h中camera3_device_ops_t定义了mCameraOps:

static camera3_device_ops_t mCameraOps;

camera3_device_ops_t QCamera3HardwareInterface::mCameraOps = {
    .initialize                         = QCamera3HardwareInterface::initialize,
    .configure_streams                  = QCamera3HardwareInterface::configure_streams,
    .register_stream_buffers            = NULL,
    .construct_default_request_settings = QCamera3HardwareInterface::construct_default_request_settings,
    .process_capture_request            = QCamera3HardwareInterface::process_capture_request,
    .get_metadata_vendor_tag_ops        = NULL,
    .dump                               = QCamera3HardwareInterface::dump,
    .flush                              = QCamera3HardwareInterface::flush,
    .reserved                           = {0},
};

hardware/qcom/camera/QCamera2/HAL3/QCamera3HWI.cpp

int QCamera3HardwareInterface::process_capture_request(
                    const struct camera3_device *device,
                    camera3_capture_request_t *request)
{
    LOGE("sundpmy_ process_capture_request E");
    ...
    QCamera3HardwareInterface *hw =
        reinterpret_cast<QCamera3HardwareInterface *>(device->priv);

    int rc = hw->orchestrateRequest(request);
    LOGE("sundpmy_ process_capture_request X");
    return rc;
}

int32_t QCamera3HardwareInterface::orchestrateRequest(
        camera3_capture_request_t *request)
{
    int32_t ret = NO_ERROR;
    ...
    ret = processCaptureRequest(request, internallyRequestedStreams);
    ...
}

1.3 hardware to vendor

QCamera2Factory构造的时候调用get_num_of_cameras_to_expose，一直到用到mm_camera_load_shim_lib。

 QCamera2Factory::QCamera2Factory()
 {
     mHalDescriptors = NULL;
     mCallbacks = NULL;
     mNumOfCameras = get_num_of_cameras();
     mNumOfCameras_expose = get_num_of_cameras_to_expose();
        get_num_of_cameras_to_expose()---> 
                      get_num_of_cameras()--->
                           mm_camera_load_shim_lib() 
}

mm_camera_load_shim_lib里面dlopen:libmmcamera2_mct_shimlayer.so。dlsym获取入口函数：mct_shimlayer_process_module_init

#define SHIMLAYER_LIB "/system/vendor/lib/libmmcamera2_mct_shimlayer.so"

int32_t mm_camera_load_shim_lib()
{
    const char* error = NULL;
    void *qdaemon_lib = NULL;

    LOGD("E");
    qdaemon_lib = dlopen(SHIMLAYER_LIB, RTLD_NOW);
    if (!qdaemon_lib) {
        error = dlerror();
        LOGE("dlopen failed with error %s", error ? error : "");
        return -1;
    }

    *(void **)&mm_camera_shim_module_init =
            dlsym(qdaemon_lib, "mct_shimlayer_process_module_init");
    if (!mm_camera_shim_module_init) {
        error = dlerror();
        LOGE("dlsym failed with error code %s", error ? error: "");
        dlclose(qdaemon_lib);
        return -1;
    }

    return mm_camera_shim_module_init(&g_cam_ctrl.cam_shim_ops);
}

mct_shimlayer_process_module_init给shim_ops_tbl赋值： @vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/mct_shim_layer/mct_shim_layer.c

int mct_shimlayer_process_module_init(mm_camera_shim_ops_t
  *shim_ops_tbl)
{
    ...
    shim_ops_tbl->mm_camera_shim_open_session = mct_shimlayer_start_session;
    shim_ops_tbl->mm_camera_shim_close_session = mct_shimlayer_stop_session;
    shim_ops_tbl->mm_camera_shim_send_cmd = mct_shimlayer_process_event;
    ...
}

mm_camera_shim_send_cmd的调用：

int32_t mm_camera_module_send_cmd(cam_shim_packet_t *event)
{
    int32_t rc = -1;
    if(g_cam_ctrl.cam_shim_ops.mm_camera_shim_send_cmd) {
        rc = g_cam_ctrl.cam_shim_ops.mm_camera_shim_send_cmd(event);
    }
    return rc;
}

mm_camera_module_send_cmd是个包装函数：
mm_camera_module_send_cmd被调用的地方比较多，打印log看一下：

D mm-camera: <CPP   >< HIGH> 1485: cpp_hardware_process_frame: [CPP_BUF:] stream_status:0xe7f1608c, iden:0x40002, cur_frame_id:17
E QCamera : <MCI><ERROR> mm_stream_unmap_buf: 2327: sundp_mc func:mm_stream_unmap_buf line:2327 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_stream_map_buf: 2168: sundp_mc func:mm_stream_map_buf line:2168 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_camera_util_s_ctrl: 2111: sundp_mc func:mm_camera_util_s_ctrl line:2111 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =0
D mm-camera: <CPP   >< HIGH> 1485: cpp_hardware_process_frame: [CPP_BUF:] stream_status:0xe7f1608c, iden:0x40002, cur_frame_id:18
E QCamera : <MCI><ERROR> mm_stream_unmap_buf: 2327: sundp_mc func:mm_stream_unmap_buf line:2327 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_stream_map_buf: 2168: sundp_mc func:mm_stream_map_buf line:2168 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_camera_util_s_ctrl: 2111: sundp_mc func:mm_camera_util_s_ctrl line:2111 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =0
D mm-camera: <CPP   >< HIGH> 1485: cpp_hardware_process_frame: [CPP_BUF:] stream_status:0xe7f1608c, iden:0x40002, cur_frame_id:19
E QCamera : <MCI><ERROR> mm_stream_unmap_buf: 2327: sundp_mc func:mm_stream_unmap_buf line:2327 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_stream_map_buf: 2168: sundp_mc func:mm_stream_map_buf line:2168 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_camera_util_s_ctrl: 2111: sundp_mc func:mm_camera_util_s_ctrl line:2111 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =0
D mm-camera: <CPP   >< HIGH> 1485: cpp_hardware_process_frame: [CPP_BUF:] stream_status:0xe7f1608c, iden:0x40002, cur_frame_id:20
E QCamera : <MCI><ERROR> mm_stream_unmap_buf: 2327: sundp_mc func:mm_stream_unmap_buf line:2327 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_stream_map_buf: 2168: sundp_mc func:mm_stream_map_buf line:2168 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =2
E QCamera : <MCI><ERROR> mm_camera_util_s_ctrl: 2111: sundp_mc func:mm_camera_util_s_ctrl line:2111 here
E mm-camera: <SHIM  ><ERROR> 481: mct_shimlayer_process_event: sundp_mct Received event from HAL type =0
D mm-camera: <CPP   >< HIGH> 1485: cpp_hardware_process_frame: [CPP_BUF:] stream_status:0xe7f1608c, iden:0x40002, cur_frame_id:21

以上log，可以看出每一帧，每次captureRequest，mm_camera_module_send_cmd会被调用三次。func:mm_stream_map_buf，func:mm_camera_util_s_ctrl，以及每一帧结束后的func:mm_stream_unmap_buf。

mct_shimlayer_process_event

从cameraservice层到qcom的hal层，到了shimlayer。 vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/mct_shim_layer/mct_shim_layer.c
从日志看，每次captureRequest，mct_shimlayer_process_event会被调用两次，cmd_type分别是CAM_SHIM_REG_BUF和CAM_SHIM_SET_PARM。

packet->cmd_type----->
typedef enum {
    CAM_SHIM_SET_PARM,   /*v4l2 set parameter*/
    CAM_SHIM_GET_PARM,   /*v4l2 get parameter*/
    CAM_SHIM_REG_BUF,    /*Reg/unreg buffers with back-end*/
    CAM_SHIM_BUNDLE_CMD, /*Bundled command for streams*/
} cam_shim_cmd_type;

int mct_shimlayer_process_event(cam_shim_packet_t *packet)
{
  switch (packet->cmd_type) {
    case CAM_SHIM_SET_PARM:
    case CAM_SHIM_GET_PARM: {
      session_id = packet->session_id;
      parm_event = &packet->cmd_data;
      @2.1
      rc = mct_shimlayer_handle_parm(packet->cmd_type, session_id, parm_event);  
    }
      break;
      
    case CAM_SHIM_REG_BUF: {
      session_id = packet->session_id;
      reg_buf = &packet->reg_buf;
      @2.2
      rc = mct_shimlayer_reg_buffer(session_id, reg_buf);  
    }
      break;
    ......
}

接下来看mct_shimlayer_process_event中的2.1 和 2.2。

2.1 mct_shimlayer_handle_parm

2.2 mct_shimlayer_reg_buffer

埋头干饭ing
关注
专栏目录
小驰私房菜_14_mm-camera_查看stream流配置、选择的sensor分辨率
欢迎关注，期待一起见证彼此的成长~
04-02 642
我们前面搜索logcat | grep "STREAM INFO"的时候，其实还会看到下面的日志输出。通过上面的日志，我们可以看到上层是配置了3路流，分别是 1024 * 768 、480 * 320 、320 * 240，那对应的format又是分别表示的什么呢？日志上很清楚的就可以看到，当前是选的res_idx 1这组分辨率。res_idx 1对应的就是驱动里面配置的Res 1这组分辨率（如下图所示）。关于查看走的sensor哪组分辨率配置，我们可以搜索关键字“Matched”，可以搜索到如下信息。
高通Camera架构之mm-camera与Camx其区别(二十九)
Android系统攻城狮
06-20 1876
本篇目的：介绍高通Camera架构mm-camera和Camx的区别其中 camx 代表了通用功能性接口的代码实现集合（CamX），chi-cdk代表了可定制化需求的代码实现集合（CHI），从图中可以看出Camx部分对上作为HAL3接口的实现，对下通过v4l2框架与Kernel保持通讯，中间通过互相dlopen so库并获取对方操作接口的方式保持着与CHI的交互。core/ ： 用于存放camx的核心实现模块，其中还包含了主要用于实现hal3接口的hal/目录，以及负责与CHI进行交互的chi/目录。
MM-Camera架构-驱动代码架构
weixin_42581177的博客
10-07 412
高通的camera驱动架构设计大致的原理如此：将camera的所有功能划分为不同的模块，让模块自己来决定自己的事情（高内聚，低耦合），模块需要有统一的接口和格式。模块中有端口，通过端口把模块连接起来，又把模块挂在总线上。每一个端口的连接就是一个流，把这些流用pipeline来管理。每次启动一个camera就创建一个，由这个来管理此camera的一切事物。对于每一个，模块是共享的，它可以是camera的硬件资源也可以是其它资源（如一些软件算法等资源）。
Chapter3. [5]Android Camera System: Camera HAL
ifuleyou1668的博客
11-06 497
从上面的定义可以看出，主要是通过hw_module_t 代表了模块，通过其open方法用来打开一个设备，而该设备是用hw_device_t来表示，其中除了用来关闭设备的close方法外，并无其它方法，由此可见谷歌定义的HAL接口，并不能满足绝大部分HAL模块的需要，所以谷歌想出了一个比较好的解决方式，那便是将这两个基本结构嵌入到更大的结构体内部，同时在更大的结构内部定义了各自模块特有的方法，用于实现模块的功能，这样，一来对上保持了HAL的统一规范，二来也扩展了模块的功能。
Camx process_capture_request流程
yaoming168的专栏
08-05 5036
camx process_capture_request流程
Camera安卓源码-高通mm_camera架构剖析
我肚子饿了
07-18 9230
主要涉及三方面： 1. Camera open 2. Camera preview 3. Camera capture1. Camera Open mm_camera&mm_camera_open() 首先，mm_camera层用一个结构体去表示从底层获取的camera对象，这个结构体叫做mm_camera_obj。 如下结构体所示，mm_camera对象包含了两个线程： 1. mm_
高通Camera驱动（4）-- process_capture_request
Cam_韦的博客
01-21 2127
前文回顾 上一篇文章，简单讲述configure_streams的过程 一、process_capture_request 流程 1.1 原文解析 * 6. The framework requests default settings for some number of use cases with * calls to camera3_device_t->ops->construct_default_request_settings(). This *...
MTK --process_capture_request
weixin_38360181的博客
07-21 787
camera process_capture_request 流程 在使用默认设置中的一组设置和至少一个输出流（已由Framework较早注册），framework构造并向HAL发送第一个捕获请求。framework调用 camera_device方法ops调用camera3_device_ops的process_capture_request开始下发request请求，通过camera3_device_t-> ops-> process_capture_request（）发送到HAL。 在..
Android Q 之MTK代码分析（五）--Camera Hal3 process_capture_request
Cam_韦的博客
09-23 3970
MTK Camera process_capture_request 流程 0、前文回顾 简单看下之前的camera3.h中configureStream的原文： The framework calls camera3_device_t->ops->configure_streams() with a list * of input/output streams to the HAL device. framework调用camera_device方法ops调用camera3_de.
MM-Camera架构-Preview 流程分析
weixin_42581177的博客
10-07 970
cpp_init_mem() ： 其实就是获取cpp_dev->iommu_hdl，这个东西是在msm_cam_smmu设备driver中统一管理的，vfe中有记录过这里。cpp_init_hardware()：设置一些硬件参数、时钟、注册中断以及buf管理接口：msm_cam_buf_mgr_register_ops()这里的是CPP_HW_CMD_SUBSCRIBE_EVENT即cpp_hardware_subcribe_v4l2_event。是将当前的文件指针挂到等待队列中。这个的原理应该一样。
vendor-qcom-proprietary-mm-camera
02-02
vendor-qcom-proprietary-mm-camera 原生代码，包含qcom camera-hal isp接口等
高通平台camera框架分析
03-27
高通平台camera框架分析，详细的camera hal和驱动之间的关系。
Android-Camera架构及应用简析
12-03
Android Camera架构及应用简析:目前对于各类Android系统设备,都要求具备照相拍摄功能。考虑到平台的多样性和设备型号的差异,需要开展相应的Camera系统的移植工作。在理解Android系统结构的基础上,分析了Camera在...
TDA4VM-LINUX-CSI-9296-9295-camera架构驱动分析和详细使用
yiyu20180729的博客
04-23 2462
TDA4VM-LINUX-CSI-9296-9295-camera架构驱动分析和详细使用
MM-Camera架构-Open 流程分析
weixin_42581177的博客
10-07 1566
整个Camera Open 过程总结如下：Java APP 层调用 Frameworks 层 Camera.java 中的 open() 方法，在open camera 后，才开始调用对应的 getParameters()，setParameters()， startPreview() 等 函数，这些后续分析Frameworks 层 Camera.java 中的 open()(1) 在Camera open() 函数中，如果没有指定open 对应的camera id，则默认打开后摄。
小驰私房菜_12_mm-camera 必知必会01
欢迎关注，期待一起见证彼此的成长~
04-02 704
这个针对不同的平台，路径也会有所不一样，有些平台是在/android/vendor/qcom/proprietary/devicetree-4.19/qcom/ 下 ，更旧一点的平台则是在 /android/kernel/msm-4.9/arch/arm64/boot/dts/qcom/下。这边修改的内容，编译版本后，内容对应的就是设备里面 /vendor/etc/camera/ 路径下的camera_config.xml,这个camera_config.xml文件。ii、isp 预览yuv dump;
Camera Request 流程源码分析
程序员Android
11-25 2171
和你一起终身学习，这里是程序员Android经典好文推荐，通过阅读本文，您将收获以下知识点:Camera 起预览时候回调用CameraCaptureSession类的setRepeati...
小驰私房菜_13_mm-camera 必知必会02
欢迎关注，期待一起见证彼此的成长~
04-02 344
2）.逐行曝光：Sensor通电后，感光二极管是一行一行开始工作的，你必须控制是哪一行曝光，然后计算总的曝光时间。因为一秒能接收的像素点以及一行存储的像素点是固定的，那接收到的像素点占的行数就可以体现曝光时间的长短，max_linecount越大，说明接收到的像素点越多，也就说明曝光时间越长。1）.全帧曝光：Sensor通电后，所有的感光二极管是同时开始工作的，只要控制Sensor加电时间的长短，就能控制曝光时间了。这个可能在过its的时候，ltm会有影响，所以过its的时候，一般都是建议关闭。
mm-camera算法
最新发布
11-22
mm-camera算法是一种相机图像处理的算法，其目的是优化图像的质量和效果。它通过对图像进行各种处理和调整，使得拍摄的照片更加清晰、锐利，色彩更加鲜艳，并且能够自动识别和修复一些常见的拍摄问题。 mm-camera算法主要包括以下几个方面的功能： 1. 自动对焦：相机在拍摄时会使用对焦算法来自动调整焦点位置，确保拍摄的目标清晰且清晰度适中。通过自动对焦，可以提高图像的细节和锐度，使得照片看起来更加真实和清晰。 2. 自动曝光：相机会利用曝光算法来自动调整镜头的快门速度和光圈大小，保证图像在亮度和对比度方面的合理平衡。自动曝光可以避免照片过暗或过亮，提供更加自然和美观的图像效果。 3. 自动白平衡： mm-camera算法还能够自动检测和调整照片的白平衡，使得拍摄的图像在色彩方面更加准确和真实。通过自动白平衡，可以消除照片中的色偏问题，使得不同光源下的照片色彩更加一致。 4. 智能识别：mm-camera算法也具备一定的智能识别能力。例如，它可以自动识别人脸并进行人脸美化处理，使得人物的肤色更加光滑和自然；还可以识别风景或者夜景场景，并根据不同场景对照片进行优化处理，提供更好的拍摄效果。 总的来说，mm-camera算法通过自动对焦、曝光、白平衡和智能识别等功能，能够提供更加优化的照片效果。它不仅仅是提高拍摄质量，还能够提升用户体验，让拍摄更加轻松和便捷。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值