Android [Camera 源码] 多摄像头支持(Multi-Camera Support) Google官方文档（十）

Google源码网地址链接：https://source.android.com/devices/camera

该Google Camera的文档为系列文章，文章列表：

overview

Camera3

HAL Subsystem

Metadata and Controls

3A Modes and State

Output and Cropping

Errors and Streams

Request Creation

External USB Cameras

Multi-Camera Support

Motion Tracking

Session Parameters

Single Producer,Multiple Consumer

Version Support

 

多摄像头支持

---

Android 9 通过一个新的逻辑摄像头设备（该设备由两个或两个以上指向同一方向的物理摄像头设备组成）引入了对多摄像头设备的 API 支持。该逻辑摄像头设备作为单个 CameraDevice/CaptureSession 提供给应用，从而允许与集成了 HAL 的多摄像头功能互动。应用可以选择访问和控制底层物理摄像头信息流、元数据和控件。

图 1. 多摄像头支持

在此图中，不同的摄像头 ID 用不同颜色标识。应用可以同时流式传输来自每个物理摄像头的原始缓冲区。您也可以设置单独的控件并从不同的物理摄像头单独接收元数据。

 

示例和来源

---

必须通过逻辑多摄像头功能播发多摄像头设备。

摄像头客户端可以通过调用 getPhysicalCameraIds()，查询构成特定逻辑摄像头的物理设备的摄像头 ID。随结果返回的 ID 之后会用于通过 setPhysicalCameraId() 单独控制各个物理设备。可以通过调用 getPhysicalCameraResults() 从完整结果中查询此类单个请求的结果。

单个物理摄像头请求可能仅支持有限的部分参数。要获得受支持参数的列表，开发者可以调用 getAvailablePhysicalCameraRequestKeys()。

只有非重新处理请求以及单色和 Bayer 传感器支持物理摄像头信息流。

 

实现

---

支持核对清单
要在 HAL 端添加逻辑多摄像头设备，请执行以下操作：

• 为由两个或两个以上物理摄像头（这些摄像头也会提供给应用）提供支持的任何逻辑摄像头设备添加 ANDROID_REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA 功能。
• 使用物理摄像头 ID 列表填充静态 ANDROID_LOGICAL_MULTI_CAMERA_PHYSICAL_IDS 元数据字段。
• 填充在物理摄像头信息流的像素之间建立关联所需的深度相关静态元数据：ANDROID_LENS_POSE_ROTATION、ANDROID_LENS_POSE_TRANSLATION、ANDROID_LENS_INTRINSIC_CALIBRATION、ANDROID_LENS_RADIAL_DISTORTION、ANDROID_LENS_POSE_REFERENCE。

1. 将静态 ANDROID_LOGICAL_MULTI_CAMERA_SENSOR_SYNC_TYPE 元数据字段设置为：
2. ANDROID_LOGICAL_MULTI_CAMERA_SENSOR_SYNC_TYPE_APPROXIMATE：对于主主模式下的传感器，不执行硬件快门/曝光同步。

• ANDROID_LOGICAL_MULTI_CAMERA_SENSOR_SYNC_TYPE_CALIBRATED：对于主从模式下的传感器，执行硬件快门/曝光同步。
• 使用各个物理摄像头支持的参数列表填充 ANDROID_REQUEST_AVAILABLE_PHYSICAL_CAMERA_REQUEST_KEYS。如果逻辑设备不支持单个请求，则列表可以为空。
• 如果支持单个请求，则处理并应用可以在捕获请求中到达的各个 physicalCameraSettings，并相应地附加单个 physicalCameraMetadata。

摄像头设备必须支持将一个逻辑 YUV/RAW 信息流替换为两个物理摄像头中大小（除 RAW 大小外）和格式相同的物理信息流。

信息流配置映射
对于逻辑摄像头，特定硬件级别的摄像头设备的强制性信息流组合与 CameraDevice.createCaptureSession 中所需的相同。信息流配置映射中的所有信息流都应该是融合/逻辑框架。

如果某些信息流组合无法融合，则不应包含在逻辑摄像头的信息流配置映射中。但是，应用可以查找单个物理摄像头的信息流配置映射，并使用物理摄像头 ID 配置信息流。

这意味着逻辑摄像头的硬件级别可能低于单个摄像头的硬件级别。比如，两个物理摄像头具有不同的原始大小时。逻辑摄像头没有 RAW 功能，因此它不能是 LEVEL_3 设备，但各个物理摄像头可以是 LEVEL_3 设备。

对于逻辑摄像头和底层物理摄像头，直接配置的已处理信息流、RAW 信息流和终止信息流不应超过预定义的 android.request.maxNumOutputStreams。

有保证的信息流组合
逻辑摄像头及其底层物理摄像头都必须保证其设备级别所需的强制性信息流组合。

逻辑摄像头设备的运行方式应该与物理摄像头设备相同，具体取决于其硬件级别和功能。建议将其特征集设为单个物理摄像头的特征集的超集。

此外，对于每个有保证的信息流组合，逻辑摄像头必须支持：

• 将一个逻辑 YUV_420_888 或原始信息流替换为两个相同大小和格式的物理信息流（每个信息流来自不同的物理摄像头），只要物理摄像头支持这种大小和格式就可以。
• 添加两个原始信息流（在每个物理摄像头中各添加一个），条件是逻辑摄像头不播发 RAW 功能，但底层物理摄像头播发该功能。当两个物理摄像头具有不同的传感器尺寸时，通常会出现这种情况。

只要物理信息流和逻辑信息流的最小帧时长相同，使用物理信息流代替相同大小和格式的逻辑信息流就不会减慢捕获的帧速率。

性能和功率考虑因素

• 性能：

1. 如果不附加物理摄像头设置，物理信息流应该不会降低捕获速率。
2. 如果将底层摄像头设为不同的帧速率，则应用物理摄像头设置可能会降低捕获速率。

• 功率：

1. HAL 的功率优化在默认情况下继续有效。
2. 配置或请求物理信息流可能会替换 HAL 的内部功率优化并消耗更多电量。

 

自定义

---

您可以通过以下方式自定义设备实现。

逻辑摄像头设备的融合输出完全取决于 HAL 实现。关于如何从物理摄像头派生融合逻辑信息流的决定对于应用和 Android 摄像头框架来说都是透明的。
可以选择支持单个物理请求和结果。此类请求中的可用参数集也完全取决于特定的 HAL 实现。
验证
逻辑多摄像头设备必须像任何其他普通摄像头一样通过摄像头 CTS 测试。可以在 LogicalCameraDeviceTest 模块中找到针对此类设备的测试用例。

以下三个 ITS 测试针对多摄像头系统，以便于正确融合图像：

• scene1/test_multi_camera_match.py
• scene4/test_multi_camera_alignment.py
• sensor_fusion/test_multi_camera_frame_sync.py

scene1 和 scene4 测试使用盒装 ITS 测试装置运行。当两个摄像头都启用时，test_multi_camera_match 测试会声明图像中心的亮度匹配。test_multi_camera_alignment 测试会声明摄像头间距、方向和失真参数已正确加载。如果多摄像头系统包含广视野摄像头（大于 90o），则需要 rev2 版 ITS 包装盒。

Sensor_fusion 是另一个测试装置，它可以实现规定的重复手机动作，并声明陀螺仪和图像传感器时间戳匹配以及多摄像头帧保持同步。

所有测试盒都由 AcuSpec, Inc.（www.acuspecinc.com，fred@acuspecinc.com）和 MYWAY Manufacturing（www.myway.tw，sales@myway.tw）提供。此外，rev1 ITS 测试盒可通过 West-Mark（www.west-mark.com，dgoodman@west-mark.com）购买。