高效率视频播放: 如何使用3D API 进行视频的高质量回放(1)

原创 2007年10月16日 09:52:00

文章最初发表于it168 
http://tech.it168.com/n/d/2007-04-18/200704181517531.shtml

 

     这个月准备写一些关于如何使用3D API搭建一个高质量的视频回放后端,其实想想也是时候了,在这个公司快一年了,Backend从开始的支持RGB24,到YUV的支持,到后来质量的不断提高, 尤其是播放质量被SONY这样苛刻的公司接受以后,总觉得该写一点东西了.
 
    其实要在3D 环境播放视频并不是件困难的事情,如果你仅仅是想做一个视频纹理,那么你可以放心的做很多假设,并且让美术提供的视频都必须满足你的假设,你可以使用RGB24的格式,你可以选择让DirectShow来为你完成YUV-RGB的color space的转化,你也可以不考虑播放是不是完全流畅的,因为那仅仅是整个游戏中的一个小小的部分,没人会来关系整个部分的视频是不是流畅.
 
     如果你做的是个播放器,专门用来播放视频的,那么质量问题喝兼容问题显得非常重要:
     1: 你要支持YUV格式,至少要支持一种: YV12.
     2: 你不能不能考虑播放的流畅性.,不能产生Frame drop现象.
     3: 必须适应Decoder出来的frame的步调,除了保证不丢帧以外,还需要保证不会有的帧在屏幕上停留时间太长,有的太短.
     4: 你不得不考虑性能问题,因为有些视频文件是巨大的,HD的视频1920 x 1080 这样的分辨率是非常常见的,Decoder会在解码的动作上耗费掉大量的CPU,留给backend的时间并不多..
 
      就以上问题,总结起来是两个: 一,YUV格式的支持.二,提供性能,保证播放流畅性. 下面我来说说一些解决方案.
一:YUV格式的支持.
     YUV格式其实有很多种, 大类分成两类,Packed的跟plannar的.前者是YUV是挤到一个int32里的(注意这个挤字),另外一种是YUV三个分量的数据分开保存,等于三个数组.
     我们知道用3D API中,用来保存图象的资源就是纹理,对于以上两类YUV格式,显然是第一种比较自然一些,但是必须注意的是packed的YUV格式,通常是交错的 ,比如排列方式是YUYV这样排列, 因为对视频来说,Y亮度信息明显比UV色差信号要来的重要,所以说,在4个字节中挤进去两个像素的信息,这两个像素公用一个UV值. 这种格式就称为YUYV格式. 除此之外还有其他很多对一般应用者来说可能是千奇百怪的格式. 因此,事实上packed的YUV.只是看上去比较自然,实现起来却并不是那么简单轻松.即使是比较容易实现的YUYV格式,也很难实现它的平滑滤波.
      相反来说,对于plannar的YUV格式, 我们虽然没办法用一个纹理来模拟它,但是完全可以采用三个纹理的方式来模拟它,这种方式几乎不需要在Pixel Shader做很多特殊处理,无非就是三个纹理采样动作而已.非常幸运的是,现在大部分的解码器都是直接输出YV12格式的,在一个分辨率是MxN大小的YV12格式中,的一块数据是MxN的Y信号.接下来是一块M/2 x N/2大小的U信号,最后是M/2 x N/2的V信号,也就是说,Y信号的分辨率比UV大一倍. 这样我们可以用一个MxN跟两个M/2 x N/2纹理就可以模拟出YV12格式了.并且可以自由的使用各种纹理滤波方式.
      解决了如何把YUV信号输入到3D API中,接下来就可以使用Pixel Shader来对采样的YUV信号进行调整,并转化成RGB信号,这个转化是非常简单的.代码如下:
     
sampler2D texYPlane;
sampler2D texUPlane;
sampler2D texVPlane;
float4 main( float2 texCoord : TEXCOORD0 , float4 fColor : COLOR) : COLOR
{
       float4    matYUV2RGB0 = float4 (1.0 , 0.0    , 1.14   , 0.0);
       float4    matYUV2RGB1 = float4 (1.0 , -0.390 , -0.58 , 0.0);
       float4    matYUV2RGB2 = float4 (1.0 , 2.03   , 0      , 0.0);
 
       //输入的YUV必须加个偏移量.详细细节参见www.fourcc.org
       float4    deltaYUV = float4 (-0.00   , -0.500 , -0.500 , 0.0);
      
       float4 yuvColor;
 
       //对三个纹理进行采样
       float2 newTexCoord = float2(texCoord.x , texCoord.y);
       yuvColor.x   = tex2D( texYPlane, newTexCoord ).x;
       yuvColor.y   = tex2D( texUPlane, newTexCoord ).x;
       yuvColor.z   = tex2D( texVPlane, newTexCoord ).x;
       yuvColor.w = 1.0f;
       yuvColor = yuvColor + deltaYUV;
       //adjust color
       yuvColor = adjustColor(yuvColor);
       float4 imageColor;
       //YUV 到RGB的转换
       imageColor.x =dot(matYUV2RGB0.xyz , yuvColor.xyz);
       imageColor.y =dot(matYUV2RGB1.xyz , yuvColor.xyz);
       imageColor.z =dot(matYUV2RGB2.xyz , yuvColor.xyz);
       imageColor.w = 1.0;
       return imageColor;
}
     关于adjustColor函数,主要是用来对对比度,饱和度等进行调节的,具体算法,在数字图象处理中都可以找到.关于详细的YUV资料,可以到www.fourcc.org上去找.
 
 
二: 如果提高播放的流畅性
    播放的流畅性,首先要保证性能. 如果说,解码器解码一帧的时间是40ms.那么无论如何你怎么优化,视频都不会流畅.同样的,如果视频解码器解码一帧费时是25ms.那么如果是24fps为正常播放速率,那么表示留给你去绘制的时间有16ms.在这16ms内,你必须把这一帧图象下载到GPU中,并把它绘制出去,绘制其实可以和解码是异步进行的,那么下载的动作呢?在OpenGL里我们可以采用PBO来进行纹理数据异步下载,这能大大的提高纹理更新的速度.
    另外一方面,并不是说你的更新速度足够高就能让视频看起来是流畅的,你还必须保证更新的步调和解码器输出是一致的.也就是说不能更新快,也不能更新慢了.我们可以采用两种方法来进行解码帧和绘制帧两个动作的同步.
    第一种方法,线程锁 + 标记变量. 通常绘制和解码不是在同一个线程中的,我们可以为视频输出纹理加一个锁和标记变量,当纹理正在被解码器写入的时候,我们就lock,并在unlock的时候,设置标记变量的状态为dirty.这就等于通知了绘制线程,告诉它视频帧的数据被更新,需要绘制. 而绘制线程会在进行绘制前检测标记变量,只有标记变量是dirty的时候,才进行绘制,或者可以选择不更新画面或者等待标记变量变成dirty状态.
    第二种方法,采用信号量. 我们可以声明一个HANDLE drawEvent, 当解码器更新完一帧数据才升起这个信号量.具体代码如下:
    int drawFrameThreadFunc(int)
    {
           initDrawDevice();//分配一个Direct3D/OpenGL的设备
          
           while(1)
           {
                 //其他一些逻辑.........
                 WaitForSingleObject(drawEvent,200);
                 drawYV12VideoTexture();
                 //其他一些逻辑.........
           }        
           closeDrawDevice();//关闭设备.
    }
 
    这两种方法,后一种比较精确,前一种相对比较自由.并且可以和有很多动态效果的GUI结合在一起.
   
    到此为止,我简单了介绍了高质量播放视频时候需要注意的一些问题,相对来说都是比较大的概括,细节上的问题还会更加的多.比如缩放滤波的质量,视频的反交错等问题都需要费很大的精力去完成.因此,做一个播放器的后端也不是那么简单的:). 如果读者有更好的方法和建议,可以通过邮件跟我联系.

Unity3d 播放高质量视频解决方案

Unity3d 播放高质量视频解决方案~   最近在折腾一个视频游戏.真的是一个视频游戏,游戏主背景是个大视频.可能切换三四个视频,而且需要无缝切换. 平台是安卓,蕊片是rockclip.找了各...
  • Tonny_007
  • Tonny_007
  • 2016年04月27日 14:23
  • 1350

【Unity 3D】常用播放视频的几种方式

Unity3d 中播放视频的几种方式。
  • eazey_wj
  • eazey_wj
  • 2017年03月28日 09:34
  • 3191

Unity+高通Vuforia SDK——AR播放视频

在之前的文章中我们已经实现了基本的图片识别,并在识别的图片上显示3D模型,但是有的时候我们实际上需要在识别的图片上播放一段视频,那么接下来我们就来说说如何实现这样的操作。 一、资源下载: 这里我们...
  • linshuhe1
  • linshuhe1
  • 2016年04月19日 16:20
  • 7908

Unity3D学习日记(九) EasyMovieTexture视频播放插件使用浅谈

这些天都在折腾公司的项目开发,这几天刚好有点空就把前段时间研究的EasyMovieTexture插件拿来写写博客,这个插件估计不少人用的挺多的吧。因为Unity3D可以用到移动端的视频插件在国内也就是...
  • begonia__z
  • begonia__z
  • 2016年05月31日 15:40
  • 12785

Vuforia AR 图片识别视频播放Unity3D例子

  • 2015年11月15日 16:04
  • 58.21MB
  • 下载

unity3d笔记(4)——声音,视频播放控制

声音和视频是3d作品中不可或缺的元素。在unity3d中添加声音和视频元素,并且编写脚本实现声音和视频的控制播放是必要的操作。 1.首先给某个component组件添加Audio Source属性,定...
  • SDDCCCC
  • SDDCCCC
  • 2014年02月05日 20:28
  • 3297

Unity3D之视频播放

本节讲解的是Unity3D中的视频播放功能: 在Unity3D中播放视频有两种方式:一中是在GUI上直接播放,另一种是以GameObject为载体播放。...
  • xggllc
  • xggllc
  • 2016年02月25日 23:41
  • 758

unity3D 视频播放插件

  • 2016年03月02日 10:22
  • 14KB
  • 下载

unity3d研究之视频播放

写在前面: 首先需要安装qucktime 播放器,并升级至专业版,注册码请找度娘。安装完之后,如果发现unity还是无法解析视频文件至movietexture,可以尝试重启电脑,重新导入视频文件。导入...
  • gamemonkey
  • gamemonkey
  • 2015年03月03日 16:34
  • 4247

[Unity3D]视频播放简单范例

空闲时间学习了一下Unity3d中播放视频的方法,特在此记录下来。 一共实现了两种方式: 使用MovieTexture GUI实现 MeshRenderer实现 使用Handheld.PlayFu...
  • u012741077
  • u012741077
  • 2016年05月24日 20:48
  • 1065
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:高效率视频播放: 如何使用3D API 进行视频的高质量回放(1)
举报原因:
原因补充:

(最多只允许输入30个字)