鉴于谈到视频播放好多人概念不清,本人不才,玩视频开发的,写过播放器,写过音视频处理程序,来简单讲讲,欢迎拍砖
1 、MP4,AVI,MKV 。。。。。之类,这种东西叫容器,是壳子,里面封音视频流
2、 H.264(又名AVC),MPEG4,XVID,DIVX,........ 诸如此类,是视频压缩标准,也是俗称视频格式
3、 MP3,AAC,ADPCM。。。。。。。之类,是音频压缩标准,也是俗称音频格式
4、 GDI,GAPI,DirectDraw,RawFrameBuffer,这是视频显示的技术,就是解码出来后,用这个接口显示到屏幕上
5、所有播放器的播放流程,不外乎 1、解开容器,抽取音视频流 2、调用不同解码器对音频和视频流进行解码 3、解码后的图像进行处理(缩放,色彩空间转换等等,有硬件实现也有软件实现)并快速显示到屏幕上。
详解:
1、所谓容器,就是装东西的,一个视频文件,就是一个容器里面封装了视频流,音频流。播放的第一步,就是要把容器拆开,把音视频流提取出来交给解码器解码。
不要以为MP4就是MPEG4,MP4是个容器而已,里面封装的视频格式支持MPEG4系列,H.264系列,音频支持AAC;AVI容器很常见,基本上编码格式不限,就是字幕流支持不好,MKV比较牛,但是很少商业公司来玩,比AVI增加很多特性,还能挂多个字幕流。
2、视频格式大家都熟,264牛逼,画质好,有目共睹,但有的264你就是硬解不了,为啥? 因为264有标准,MainProfile,BaseLineProfile,还有Level X.X , 如果你的鸡鸡解码不了某些MP4里面封装的264,不要骂鸡鸡烂,硬件解码都有限制,PC上都如此,何况WM,要调试,看你的鸡鸡最高支持哪个Profile,那个Level,然后压片的时候就要参考这个标准,不要超过了。 不过WM而言,顶多也就BaseLine了不要想MainProfile了。 同理,DIVX,XVID,都有相关的Level,决定解码器的复杂度。所以说,硬解是有限制的,分辨率,码率,Level,Profile,都要满足要求!即所谓压片参数。
3、音频没啥好说的,软解都行,只要支持这个格式。
4、输出回放,就是你解码出来的东西,如何输入到屏幕上,这个我开发做得多,这个玩意的能力,也就是大家常说的显卡硬加速。
GDI是最烂了,效率低下,而且,不支持硬缩放,比如解码出来640*384的,你在800*480上放,就要扩大,那效果叫一个烂,都是格子,要平滑缩放?没问题,软件处理啊,Lanczos算法,三线性等等,耗费你的宝贵CPU。
GAPI稍微牛逼些,也过时了,微软早期做WM时搞出来的供游戏用的快速图形库,如果底层驱动写得好,GAPI可以平滑缩放,甚至硬件缩放,硬件色彩空间转换(解码出的大多是YUV,要转成RGB16,谁让WM只支持16位色呢,气结)。但是,据我了解,基本99。9%的驱动都写得烂渣渣。 不过,魅族M8牛逼得一塌糊涂,人家的底层驱动和GAPI挂接非常好,算是对6410物尽其用了。再次强烈鄙视Go force。这么多年了,连个像样的驱动都没。
DDraw,跟GAPI类似,后期微软把这个PC上的架构移植过来了,好处是,很多PC上的代码能在WM上用了,但也要靠驱动,驱动实现好的,能硬缩放,硬色彩空间转换。效率高,效果好,不耗CPU
RawFrameBuffer.这玩意是CorePlay和他早期的TCPMP搞出来的,就是写图形缓冲,根据机型不同,还有好多变体,我当年用的696,就有个ATI的,直接硬件平滑缩放,效果很好。但只有CorePlayer/TCPMP自己能调用。
还有个DirectShow,也是微软后面引入WM的,PC上已经演进到Media Foundation了,也给大家说说,DShow是一个架构,有三件套,分离器,解码器,输出,对应关系:
分离器:解开容器 各种格式不同的容器,就需要不同的分离器
解码器:解码音视频流 各种格式的音视频,就需要不同的解码器
渲染器:调用显示模块(先尝试DDraw,再尝试GDI)进行显示
三件套拼合起来,组成一个播放链,就能播放了,PC上大多数播放程序是根据这个写的,而WM上,基本除了自带的WMP,其他播放器都没根据这个玩意来写。WMP虽然烂,饱受歧视,但是某些机器的WMP所调用的DSHOW组件,是做过优化的,比如解码器和渲染器,能利用到硬件性能,所以。。。。。有时候CorePlayer搞不定,WMP行,就是这个道理。
WM上大多程序没用系统的DSHOW架构,而是是用的自己开发的裸架构,比如CorePlayer,TCPMP之类的播放器,全部自己开发的,
早期玩过TCPMP的源码,写得不错。就是自己去完全搞定容器的分离,解码以及显示,在程序架构上模仿了微软的DSHOW,自己实现了一个插件架构。
可惜,目前为止,还是只能软解,顶多利用一下DDraw进行渲染,还能享受一点点硬件的加速,如果驱动写得不好,DDraw都烂。那就没药救了。
今天就讲到这。写得不好,欢迎来拍砖。
视频处理基础
最新推荐文章于 2024-08-26 21:46:59 发布