HDR转SDR实践之旅(一)流程总结

已于 2023-10-16 10:29:09 修改
阅读量4.3k 收藏 19
点赞数 3
分类专栏： HDR转SDR实践之旅 文章标签： android 音视频
于 2023-03-03 12:37:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53290519/article/details/129317861
版权

什么是HDR视频

HDR视频是高动态范围视频(High Dynamic Range的缩写)，SDR视频是标准动态范围视频(Standard  Dynamic Range的缩写)，动态范围指的是亮度最大值和最小值的比值。

如下图所示SDR和HDR对比发现动态范围越高，颜色更鲜艳，亮度暗部细节越多。

HDR和SDR对比

先从遇到的问题开始讲起，之所以要处理HDR视频是因为线上反馈HDR视频又暗又灰，HDR视频正确播放需要特殊处理才行。

21403fb9f1fd4ecabfd78b33a21ab41a.jpg

本系列文章主要讲Android中如何正确处理HDR视频，从开发遇到的问题作为切入点浅显易懂讲解HDR理论，你会从中学到以下10点。

  1. 如何用MediaCodec实现HDR解码渲染
  2. HDR视频转换SDR流程
  3. OpenGL纹理如何支持10位YUV数据
  4. SurfaceTexture如何支持10位BT2020YUV
  5. 10位YUV420(i420、YV12、NV12、NV21)如何用Shader转换成RGB
  6. YUV转RGB矩阵、BT2020转BT709色域矩阵是如何计算出来的
  7. 传递函数(Gamma矫正、光电转换、电光转换)的正确认知和参数详解
  8. 各种ToneMapping色调映射技术汇总
  9. 如何利用HDR视频和屏幕亮度信息动态调整效果
  10. 全网最全HDR开发资源汇总(测试视频、LUT、经验分享、标准文档)

如果你觉得有所收获，来给HDR转SDR开源代码点个赞吧，你的鼓励是我前进最大的动力。

HDR带来的问题

HDR效果虽好也给拍摄、存储、显示阶段带来了各种问题

拍摄问题

摄像头的图像传感器能捕捉的动态范围有限，怎么收集更多亮度信息呢?用不同的曝光得到多张图融合成一张，其中低曝光拿到亮处信息，高曝光拿到暗处信息，下图根据多张曝光度不一样的照片(a)融合生成亮处暗处都清晰的照片©。
拍摄HDR

存储问题

下图HDR图像用8位数据存储会出现色晕、暗部和亮部看不清等情况，如何用更小的数据存储更多更亮的颜色？用更多位数、更大色域、压缩率更高的格式存储数据(10位_BT2020色域_PQ_H265视频)。

8bit_vs_10bit_barevna_hloubka.jpg

显示问题

如何让屏幕支持更高亮度、更多颜色？更换屏幕材料(量子点、OLED)是种做法，下图OLED屏幕比起LCD屏幕亮的更亮、黑的更黑，也有厂商为了减小成本用抖色方案支持更高位数的颜色(假HDR)。

5930f8330ab94d448bc0cd7add987d96.jpeg

如何让屏幕中的颜色更真实？根据屏幕和图像的亮度信息重新调整效果，下图把左边的颜色通过色调映射到右边三种屏幕上。

image.png

本篇文章讲的就是HDR显示问题，HDR视频如何在SDR屏幕正确播放的开发流程。

SDR视频播放流程

HDR视频和SDR视频相比色域更大、亮度更高、细节更多，理论上播放起来也就不够鲜艳而已，怎么播放起来又暗又灰呢？变暗还好理解，HDR视频比SDR视频亮，把HDR视频当SDR视频处理当然会变暗了，那怎么还变灰了呢？宽色域用窄色域的屏幕会变灰，如下图所示左右两个颜色都是(0.5,0.0,0.0)，但是不同屏幕下不一样。

image.png

那怎么正确播放HDR视频，也不要求视频效果很好至少也不要变灰呀，让我们先来梳理一下原先的SDR视频播放流程。

SDR播放流程

如上图SDR视频播放流程分3步

第1步: Mp4解封装的数据送入MediaCodec

第2步: MediaCodec解码到SurfaceTexture

第3步: SurfaceTexture绑定的纹理经过处理后渲染到SurfaceView或TextureView上屏

刚开始认为问题出在第2步，SurfaceTexture不支持10位只取HDR视频的低8位数据忽略高2位，测试发现SurfaceTexture支持10位，绑定的RGB纹理和视频原始YUV换算后基本上一样，其实问题出在第三步，纹理用OpenGL渲染时屏幕不知道要开启HDR，这需要对屏幕Surface开启HDR标识。针对这个问题有两个思路，一个是让屏幕开启HDR来适应视频，另外一个是让视频变成SDR来适应屏幕，根据这两个思路有4个解决方案。

未命名文件 (14).jpg

方案优点缺点
直接解码并渲染到SurfaceView(不需OpenGL的HDR标识)真HDR1.不支持编辑
2.不支持TextureView
3.屏幕需支持HDR
解码到SurfaceTexture再渲染SurfaceView(HDR标识)1.真HDR
2.支持纯HDR编辑
1.不支持HDR和SDR混合编辑
2.不支持TextureView
3.屏幕需支持HDR
4.不支持HLG视频
5.存在兼容性问题(小米手机上发现10位HDR标识导致HDR效果延时，用16位HDR标识正常)
解码到SurfaceTexture后转成8位BT709再渲染1.支持编辑
2.支持TextureView和SurfaceView
3.屏幕不需支持HDR
4.支持HLG、PQ视频
1. HDR转SDR效果相对而言差一点
2. 部分手机可能存在SurfaceTexture不支持10位BT2020，暂时未发现
解码到Buffer后把10位YUV数据转成8位BT709RGB纹理再渲染1.支持编辑
2.支持TextureView和SurfaceView
3.屏幕不需支持HDR
4.支持HLG、PQ视频
1. HDR转SDR效果相对而言差一点
2. 部分手机对HDR视频不支持Buffer解码(如华为的麒麟芯片手机)

结论： 只播放不需要编辑用方案1，纯HDR编辑用方案2，HDR和SDR混合编辑的话综合方案3、4解决兼容性问题。

注意点：

  1. 方案1、2只能渲染到SurfaceView的Surface上，TextureView的SurfaceTexture构造出来的Surface没有HDR效果，这也是为什么明明ExoPlayer实现了HDR却在Flutter和TextureView上失效的原因。
  2. 方案3、4把HDR视频转成了SDR是为了能和原先的SDR素材一起编辑，不把SDR素材转成HDR是因为SDR转HDR比HDR转SDR的难度更大很容易出现色差(采用反色调映射时损失的亮度和色度无法恢复导致出现色彩失真和条带现象)。方案3比方案4代码写起来简单一点。
  3. OpenGL对Surface标识HDR只需要对WindowSurface的Config设为RGB10位(不需要GLContext的Config也设置10位)和配置EGL_GL_COLORSPACE_BT2020_PQ_EXT属性，但是该标识只对PQ视频有效，作用在HLG视频会导致视频过爆，暂时未发现OpenGL支持HLG。
  4. SurfaceTexture可以关联samplerExternalOES或samplerExternal2DY2YEXT纹理采样器处理得到归一化线性RGB。

HDR视频转SDR流程

HDR视频播放只需要用SurfaceView就行，编辑需要HDR转SDR，下图说明HDR视频相对于SDR视频是宽色域、高亮度、高位深的，只要改变这三要素就能把HDR视频转成SDR视频。

未命名文件 (15).jpg

如下图所示HDR转换流程就是用色域转换矩阵把宽色域变成窄色域，用色调映射保证亮度变化时颜色不失真，归一化后量化改变位深，而所有的前提要在线性空间操作才行(拍摄视频时会把自然场景的线性场景光变成非线性的电信号，编辑视频时当然要转换回来啦)。所谓线性空间指的是颜色连续均匀(颜色之间可以插值)，其中线性变非线性叫光电转换，非线性转线性叫电光转换，很好记，光是自然生成的，自然界的东西都是线性的，光变电就是线性变非线性，这两种转换都被叫做传递函数。

未命名文件 (1).jpg

名词解释：

归一化： 将数值压缩到[0,1] 范围

电光转换： 视频用非线性电信号存储，处理的时候需要转成线性光数据，实际操作是代入特定的数学公式

色调映射： 目的是为了高亮度转成低亮度保证色彩不失真，实际操作是一段曲线映射

色域转换： 宽色域视频直接用窄色域进行显示会变灰，需要用宽色域转换成窄色域，实际操作是矩阵转换

光电转换： 屏幕只能显示非线性电信号，线性光数据需要转成非线性电信号，用线性光数据显示会导致变亮，实际操作是代入特定的数学公式，和电光转换的公式反了反

量化： 将数值还原到[0,2^n-1] 范围内，n=8就是变成0-255，n=10就是变成0-1023

以下就是在Android中HDR视频转SDR的具体步骤：

进度工作 (3).jpg

HDR视频转SDR视频在实际操作中其实就是把10位BT2020YUV转成8位BT709RGB，前者动态范围高，后者动态范围低。

第一步： 解码处理得到归一化线形RGB有3种方式，其中方式1代码写起来最简单。

  1. MediaCodec解码到SurfaceTexture，SurfaceTexture与samplerExternalOES纹理采样器绑定得到归一化非线性的RGB数据，samplerExternalOES测试发现支持10位BT2020RGB(兼容性未知)
  2. MediaCodec解码到SurfaceTexture，SurfaceTexture与samplerExternal2DY2YEXT纹理采样器绑定得到归一化非线性的YUV数据，再用BT2020YUV转RGB矩阵转换成归一化非线性的RGB数据，需GL_EXT_YUV_target扩展支持
  3. MediaCodec解码得到YUV420 ByteBuffer转换成OpenGL16位非线性YUV纹理，位移得到10位YUV再通过Shader处理转成归一化非线性的RGB数据

第二步： 电光转换把归一化非线性的RGB数据转换成线性

第三步： 根据视频元数据里面的亮度信息和屏幕亮度数据用色调映射调整RGB颜色

第四步： 色域转换矩阵把BT2020转换BT709，BT2020是宽色域BT709是窄色域

第五步： 光电转换把线性数据还原成非线性，量化得到8位BT709RGB

问题思考

下面3个问题留给大家思考

  1. 颜色处理要在线性空间，YUV转RGB为什么要在电光转换之前(非线性)处理？
  2. 为什么SurfaceView支持HDR，TextureView不支持HDR？
  3. OpenGL创建的WindowSurface只支持PQ不支持HLG，有什么好的解决方案吗？

系列文章

信念着了火
关注
  • 3
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
HDR转SDR实践之旅(二)解码10位YUV纹理
weixin_53290519的博客
05-10 996
一名Android开发的HDR转SDR实践总结，通俗易懂讲解HDR转SDR的第一步解码10位YUV纹理的三种方案
HDR转SDR实践之旅(六)传递函数与色差矫正
weixin_53290519的博客
10-16 197
不了解传递函数导致大多数应用(包括微信、Android、Mac...)在缩放、模糊、半透明混合等都存在色差问题，正确认识传递函数太有必要了
HDR转SDR
最新发布
weixin_45864435的博客
04-17 304
hdr转sdr
FFmpeg HDR视频转SDR视频命令
彼此当年少，莫负好时光
12-22 1万+
之前蓝光盘电影多是AVC 1080p 8bit SDR格式视频，近两年4K电影流行，下载的蓝光电影多是HEVC 2160p 10bit HDR视频格式。 ffprobe查看有如下属性： # 10bit HDR Stream #0:0(eng): Video: hevc (Main 10), yuv420p10le(tv, bt2020nc/bt2020/smpte2084), 3840x2160 [SAR 1:1 DAR 16:9], 23.98 fps, 23.98 tbr, 1k tbn, 23.98
HDR视频到SDR的转换过程，及部分设备对HDR视频的播放现象
weixin_50216418的博客
12-06 2万+
HDR是什么 高动态范围，对视频或图片来说指文件相比传统0~100nit（或cd/m2）能记录更亮或更暗的内容。 比如下面这个截图显示的文件信息，目前常见的HDR视频最高能到4000cd/m2： 使用BT2020+P3色彩空间 记录的亮度范围是0.0001~1000cd/m2 相比SDR视频，主要的区别在于： 色域更广了，sRGB->P3。本文称为色彩部分 亮度范围更大更精确了，0~100nit->更大。本文称为亮度部分 下图来源见水印 不支持HDR的屏幕真的一点都不HDR吗？
HDR转SDR实践之旅(三)YUV420转YUV公式
weixin_53290519的博客
05-10 508
YUV420转YUV的常规方案是把YUV420的颜色通道拆成3个图像(Y图像U图像V图像)再组装成YUV，这种方式比较耗时其实可以省去YUV拆图像的步骤直接用公式从YUV420算出YUV
HDR转SDR实践之旅(八)色调映射
weixin_53290519的博客
10-16 595
Android开发除了画界面还能做点什么，HDR研究是本人探索的一个方向，代码已开源，希望大家能有所收获
hdr与sdr_HDR與SDR有哪些區別，如何將HDR轉檔為SDR？
weixin_35032861的博客
01-14 1487
擁有一部4K電視並不意味著就可以欣賞最高4K品質的電影。這是因為有兩種4K視訊類型——SDR與HDR。SDR與HDR的相似之處在於，它們都有4000行解析度。雖然這二者擁有同樣數量的水準解析度，但是它們的畫面品質不同。HDR與SDR對比在進一步介紹之前，我們先來看看SDR與HDR的定義是什麼，以及它們有哪些特點。HDR介紹HDR是High Dynamic Range的簡寫，意為“高動態範圍”。HD...
一种针对功率设计SDR的整体方法
01-19
　功率是在设计每一个SDR子系统时的主要考虑因素，特别是因为它们要消耗比硬件无线电更多的功率。例如，为了获得预期的无线电通信距离(依赖于链路的状况，典型值为5-10千米数量级)，射频(RF)前端必须具备足够的发射...
SDR团队工作流程指南.pdf
03-26
SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队工作流程指南.pdf SDR团队...
模拟技术中的高速模数转换技术奠定SDR基础
11-17
无线技术标准的不断地演进，迫使电信公司必须支付庞大的成本，而软件无线电(SDR)则能解决这个问题。完全可重配置的无线射频系统的面世可以通过软件升级来支持新标准或多种标准，使电信公司不需花费高额成本布建新...
SDR 原版驱动RTL-SDR.COM
04-28
SDR（Software Defined Radio，软件定义无线电）是一种利用软件来实现传统硬件功能的无线电通信技术。在SDR系统中，大部分的信号处理工作由计算机软件完成，而不是传统的硬件电路。RTL-SDR则是SDR领域中一个非常受...
SDR接收机软件包附带说明书
03-06
SDR（Software Defined Radio，软件定义无线电）接收机是一种现代通信技术，它的核心特性在于将传统的硬件信号处理功能转移到了软件层面。SDR接收机通过一个可编程的硬件平台，可以适应多种通信标准，只需更新软件...
hdr与sdr_学习：HDR流程及HDR&SDR混编流程小解
weixin_39871162的博客
12-24 1142
首先看图，是新建工程项目时候 选择工程项目的色彩空间不知道怎么打开的，可以在雷特世创微信公众号上在线咨询工程师在这里如果我使用的是HDR的原素材剪辑，而又不知道使用的哪种色彩空间进行的拍摄，可以鼠标右键查看素材的色彩空间属性。素材的剪辑和组接在这里我就不多唠叨了，跟你之前的操作依旧，就是这样简单直接。我们将素材拖拽到时间线上，我们会发现依然是灰灰的，那么对于HDR素材的怎么做呢？很简单，找到特效/...
HDR转SDR实践之旅(五)色域转换BT2020转BT709
weixin_53290519的博客
10-16 2702
从一名Android开发的角度讲解色域是什么，RGB转灰度公式和BT2020转BT709色域转换是怎么算出来的
HDR和SDR区别
热门推荐
萧戈的专栏
04-03 4万+
这东西没那么容易解释的清。。。HDR和SDR是两套亮度/色度体系，就像别人用英语说一个interesting，然后你非按中文翻译成了因垂思婷 一、为啥变灰了： 变灰表现在：亮度降低+颜色饱和度下降。这是因为HDR有自己的颜色范围和亮度范围。如果把HDR当成SDR窄亮度，窄色域来渲染，颜色自然就不对了。 打个比方，视频编码一般用0和1代表最暗和最亮。HDR中亮度范围（0-1），代表0.0001到10...
.img/.hdr格式转.nii格式的方法
Eureka
03-14 5449
MATLAB转格式,需要使用spm package(https://github.com/neurodebian/spm12). %%img2nii.m-------------------------------------------- %Script to convert hdr/img files to nii. %This script uses SPM function, so you...
HDR转SDR实践之旅(七)Gamma、HLG、PQ公式详解
weixin_53290519的博客
10-16 1925
本篇文章讲的就是Gamma、HLG、PQ公式的各种参数详细解释，帮忙开发者更好理解HDR究竟是怎么回事
HDR和SDR的概念及两者之间的区别
huduokyou的博客
09-22 1694
与之相反，HDR（高动态范围）是一种新一代的显示技术，它具有更宽广的动态范围，可以呈现更多的细节和逼真的画面效果。例如，在观看电影时，HDR可以让我们感受到更加真实的环境光照效果，如太阳的耀眼光芒、星空的明亮闪烁等。同时，HDR的高对比度和丰富的色彩表现也使得影像更加生动，细节更加清晰，从而提升了观影体验。区别之一是色彩表现。需要注意的是，要充分享受HDR的效果，我们需要具备相应的设备。高动态范围（HDR）和标准动态范围（SDR）是两种不同的视频显示技术，它们在色彩、明暗细节和观影体验方面有着显著差异。
RAW视频转换为SDR视频和HDR视频
07-27
回答: 当将RAW视频转换为SDR视频和HDR视频时，会根据不同的标准进行处理，从而得到不同的结果。SDR视频是标准动态范围的视频，通常使用8位的图像表示，像素值范围在0到255之间。而HDR视频是高动态范围的视频，可以显示更丰富、更真实的颜色和对比度。HDR视频通常使用10位或12位的图像表示，像素值范围更大。 在转换过程中，会对RAW视频进行色彩分级和调整，以适应不同的动态范围和色域。SDR视频的动态范围较窄，色域较小，而HDR视频的动态范围更广，色域更大。因此，在转换过程中需要对亮度、对比度和色彩进行调整，以保持画面的一致性和质量。 HLG视频是一种特殊的HDR视频格式，它采用了一种混合的传输函数，可以同时适应SDR和HDR的显示设备。这意味着HLG视频可以在不同类型的屏幕上播放，而无需进行额外的色彩分级或转换。这使得HLG视频在广播和流媒体领域具有很大的应用潜力。 总之，将RAW视频转换为SDR视频和HDR视频需要根据不同的标准和要求进行处理，以获得适合不同显示设备的视频内容。这涉及到动态范围、色域和位深度等方面的调整和优化。 #### 引用[.reference_title] - *1* [各种HDR标准的技术细节，读这一篇就够了](https://blog.csdn.net/q274488181/article/details/123363809)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [嵌入式音视频疑惑汇总（持续更新）](https://blog.csdn.net/weixin_43233219/article/details/130882134)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [ICCV2021 SDR2HDR论文笔记：A New Journey from SDRTV to HDRTV](https://blog.csdn.net/BigerBang/article/details/124043708)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值