Android NDK开发详解相机之HDR 视频拍摄

五一编程

已于 2023-12-28 00:12:58 修改

阅读量213

点赞数

分类专栏：学习交流文章标签： android 数码相机音视频 kotlin c语言数据结构

于 2023-11-14 09:00:07 首次发布

本文链接：https://blog.csdn.net/hnjzfwy/article/details/134336633

版权

学习交流专栏收录该内容

491 篇文章 1 订阅

订阅专栏

Android NDK开发详解相机之HDR 视频拍摄

注意：本页介绍的是 Camera2 软件包。除非您的应用需要 Camera2 的特定低层级功能，否则我们建议您使用 CameraX。CameraX 和 Camera2 都支持 Android 5.0（API 级别 21）及更高版本。

Camera2 API 支持高动态范围 (HDR) 视频拍摄功能，可让您使用相机预览和录制 HDR 视频内容。与标准动态范围 (SDR) 相比，HDR 提供了更广泛的颜色范围，并增加了亮度分量的动态范围（从当前的 100 cd/m2 增加到 1000 cd/m2）。这样，视频画质就更接近真实生活，具有更丰富的色彩、更亮的高光和更暗的阴影。
在这里插入图片描述

在这里插入图片描述

看看 HDR 视频如何以更加生动的细节呈现日落时光。
图 1.SDR（顶部）与 HDR（底部）的视频画质比较。
注意：从 Android 13 开始，具有 10 位相机输出的相机设备必须支持 HLG10 格式进行 HDR 拍摄和播放。如需了解详情，请参阅 HDR 格式。

设备前提条件

并非所有 Android 设备都支持 HDR 视频拍摄功能。在应用中拍摄 HDR 视频之前，请确定您的设备是否满足以下前提条件：

以 Android 13（API 级别 33）为目标平台。
具有支持 10 位或更高级别的摄像头传感器。如需详细了解 HDR 支持，请参阅检查 HDR 支持情况。

由于并非所有设备都满足这些前提条件，因此在应用中设置 HDR 视频拍摄功能时，您可以添加一个单独的代码路径。这样，您的应用就可以在不兼容的设备上回退为使用 SDR。此外，您还可以考虑为 SDR 添加界面选项。然后，用户可以根据自己的视频录制需求在 SDR 和 HDR 之间切换。

HDR 拍摄架构

下图显示了 HDR 拍摄架构的主要组成部分。
HDR 拍摄架构图。
在这里插入图片描述

图 2. HDR 拍摄架构图。

当相机设备拍摄 HDR 格式的帧时，Camera2 框架会分配一个缓冲区来存储处理后的相机传感器输出。如果 HDR 配置文件要求，还会附加相应的 HDR 元数据。然后，Camera2 框架会针对 CaptureRequest 中引用的输出 surface（例如屏幕编码器或视频编码器）将填充的缓冲区加入队列，如图所示。
注意：相机应用无法通过 Android 13 中的 Camera2 API 或任何媒体 API 访问 HDR 元数据。

检查是否支持 HDR

在您的应用中拍摄 HDR 视频之前，请确定设备是否支持您所需的 HDR 配置。

使用 CameraManager getCameraCharacteristics() 方法获取 CameraCharacteristics 实例，您可以查询其设备的 HDR 功能。

您可按照以下步骤检查设备是否支持 HLG10。HLG10 是设备制造商必须在具有 10 位输出的相机上支持的基准 HDR 标准。

首先，检查设备是否支持 10 位配置文件（HLG10 的位深）：
Kotlin

private fun isTenBitProfileSupported(cameraId: String): Boolean {
  val cameraCharacteristics = cameraManager.getCameraCharacteristics(cameraId)
  val availableCapabilities = cameraCharacteristics.get(CameraCharacteristics.REQUEST_AVAILABLE_CAPABILITIES)
  for (capability in availableCapabilities!!) {
      if (capability == CameraMetadata.REQUEST_AVAILABLE_CAPABILITIES_DYNAMIC_RANGE_TEN_BIT) {
          return true
      }
  }
  return false
}

接下来，检查设备是否支持 HLG10（或其他受支持的配置文件）：
Kotlin

    @RequiresApi(api = 33)
    private fun isHLGSupported(cameraId: String): Boolean {
    if (isTenBitProfileSupported(cameraId)) {
      Val cameraCharacteristics = cameraManager.getCameraCharacteristics(cameraId)
      val availableProfiles = cameraCharacteristics
      .get(CameraCharacteristics.REQUEST_AVAILABLE_DYNAMIC_RANGE_PROFILES)!!
      .getSupportedProfiles()

      // Checks for the desired profile, in this case HLG10
      return availableProfiles.contains(DynamicRangeProfiles.HLG10)
    }
    return false;
    }

如果设备支持 HDR，isHLGSupported() 始终返回 true。如需了解详情，请参阅 CameraCharacteristics 参考文档。

设置 HDR 拍摄

确保设备支持 HDR 后，请设置您的应用以从相机捕获原始 HDR 视频流。使用 setDynamicRangeProfile() 为数据流的 OutputConfiguration 提供设备支持的 HDR 配置文件，然后在创建时将其传递给 CameraCaptureSession。请参阅支持的 HDR 配置文件列表。

在以下代码示例中，setupSessionDynamicRangeProfile() 首先检查设备是否搭载的是 Android 13。然后，它会使用设备支持的 HDR 配置文件将 CameraCaptureSession 设置为 OutputConfiguration：

Kotlin

  /**
  * Creates a [CameraCaptureSession] with a dynamic range profile.
  */
  private fun setupSessionWithDynamicRangeProfile(
          dynamicRange: Long,
          device: CameraDevice,
          targets: List,
          handler: Handler? = null,
          stateCallback: CameraCaptureSession.StateCallback
  ): Boolean {
      if (android.os.Build.VERSION.SDK_INT >=
              android.os.Build.VERSION_CODES.TIRAMISU) {
          val outputConfigs = mutableListOf()
              for (target in targets) {
                  val outputConfig = OutputConfiguration(target)
                  //sets the dynamic range profile, for example DynamicRangeProfiles.HLG10
                  outputConfig.setDynamicRangeProfile(dynamicRange)
                  outputConfigs.add(outputConfig)
              }


          device.createCaptureSessionByOutputConfigurations(
                  outputConfigs, stateCallback, handler)
          return true
      } else {
          device.createCaptureSession(targets, stateCallback, handler)
          return false
      }
  }


}

当相机应用初始化相机时，它会发送重复的 CaptureRequest 以预览录制内容：
Kotlin


session.setRepeatingRequest(previewRequest, null, cameraHandler)

此外，开始录制视频：
Kotlin

// Start recording repeating requests, which stops the ongoing preview
//  repeating requests without having to explicitly call
//  `session.stopRepeating`
session.setRepeatingRequest(recordRequest,
        object : CameraCaptureSession.CaptureCallback() {
    override fun onCaptureCompleted(session: CameraCaptureSession,
            request: CaptureRequest, result: TotalCaptureResult) {
        if (currentlyRecording) {
            encoder.frameAvailable()
        }
    }
}, cameraHandler)

对 HDR 相机视频流进行编码

如需对 HDR 相机数据流进行编码并将文件写入磁盘，请使用 MediaCodec。

首先，获取 OutputSurface，它映射到存储原始视频数据的缓冲区。对于 MediaCodec，请使用 createInputSurface()。

如需初始化 MediaCodec，应用必须创建一个具有指定编解码器配置文件、颜色空间、颜色范围和传输函数的 MediaFormat：
Kotlin

val mimeType = when {
    dynamicRange == DynamicRangeProfiles.STANDARD -> MediaFormat.MIMETYPE_VIDEO_AVC
    dynamicRange < DynamicRangeProfiles.PUBLIC_MAX ->
            MediaFormat.MIMETYPE_VIDEO_HEVC
    else -> throw IllegalArgumentException("Unknown dynamic range format")
}

val codecProfile = when {
    dynamicRange == DynamicRangeProfiles.HLG10 ->
            MediaCodecInfo.CodecProfileLevel.HEVCProfileMain10
    dynamicRange == DynamicRangeProfiles.HDR10 ->
            MediaCodecInfo.CodecProfileLevel.HEVCProfileMain10HDR10
    dynamicRange == DynamicRangeProfiles.HDR10_PLUS ->
            MediaCodecInfo.CodecProfileLevel.HEVCProfileMain10HDR10Plus
    else -> -1
}
// Failing to correctly set color transfer causes quality issues
// for example, washout and color clipping
val transferFunction = when (codecProfile) {
    MediaCodecInfo.CodecProfileLevel.HEVCProfileMain10 ->
            MediaFormat.COLOR_TRANSFER_HLG
    MediaCodecInfo.CodecProfileLevel.HEVCProfileMain10HDR10 ->
            MediaFormat.COLOR_TRANSFER_ST2084
    MediaCodecInfo.CodecProfileLevel.HEVCProfileMain10HDR10Plus ->
            MediaFormat.COLOR_TRANSFER_ST2084
    else -> MediaFormat.COLOR_TRANSFER_SDR_VIDEO
}

val format = MediaFormat.createVideoFormat(mimeType, width, height)

// Set some properties.  Failing to specify some of these can cause the MediaCodec
// configure() call to throw an exception.
format.setInteger(MediaFormat.KEY_COLOR_FORMAT,
        MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface)
format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate)
format.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate)
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL)

if (codecProfile != -1) {
    format.setInteger(MediaFormat.KEY_PROFILE, codecProfile)
    format.setInteger(MediaFormat.KEY_COLOR_STANDARD,
            MediaFormat.COLOR_STANDARD_BT2020)
    format.setInteger(MediaFormat.KEY_COLOR_RANGE, MediaFormat.COLOR_RANGE_LIMITED)
    format.setInteger(MediaFormat.KEY_COLOR_TRANSFER, transferFunction)
    format.setFeatureEnabled(MediaCodecInfo.CodecCapabilities.FEATURE_HdrEditing,
            true)
}

mediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

如需详细了解实现，请参阅 Camera2Video 示例应用的 EncoderWrapper.kt。

HDR 格式

从 Android 13 开始，具有 10 位输出功能的相机设备必须支持 HLG10 以进行 HDR 拍摄和播放操作。此外，设备制造商可以使用 HDR 拍摄架构启用他们选择的任何 HDR 格式。

下表汇总了可用的 HDR 格式及其用于拍摄 HDR 视频的功能。
在这里插入图片描述

资源

如需获取具有 HDR 视频拍摄功能且能正常运行的应用，请参阅 GitHub 上的 Camera2Video 示例。

本页面上的内容和代码示例受内容许可部分所述许可的限制。Java 和 OpenJDK 是 Oracle 和/或其关联公司的注册商标。

最后更新时间 (UTC)：2023-10-31。

五一编程

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Android NDK开发详解相机之HDR 视频拍摄

原生开发套件 (NDK) 是一套工具，使您能够在 Android 应用中使用 C 和 C++ 代码，并提供众多平台库，您可使用这些平台库管理原生 activity 和访问实体设备组件，例如传感器和触控输入。NDK 可能不适合大多数 Android 编程初学者，这些初学者只需使用 Java 代码和框架 API 开发应用
复制链接

扫一扫