H.264开源解码器评测
Peter Lee 2006.05.07 videosky.9126.com
2003年5月,当H.264编码标准草案发布时,很多人都觉得H.264太复杂,不宜实用。眨眼间3年过去了,以往的论断、疑惑被如今的现实冲洗的干干净净。随着硬件性能的提高和视频编码工作者对H.264的不断优化,如今的H.264已完全实用,最新的达芬奇芯片上能实现D1分辨率(720*480)视频的实时编码,而对于解码,普通的PC机就能实现x264编码的DVDrip电影的流畅播放。纵观过去的三年,有多少人对H.264倾注了热情和汗水才换来今天的成绩,而那些H.264的开源项目以及参与这些项目的开发者自然是功不可没。
本文评测的是作者接触过的H.264开源解码器,包括:JM decoder, T264 decoder, x264 decoder, ffmpeg libavcodec, Intel IPP simple player。评测的内容有:对H.264特性的支持、解码速度以及二次开发难易程度。
一、H.264开源解码器介绍
1、JM decoder
JM decoder是H.264的官方源码,通常也称为校验模型。其特点是支持特性好,实用性差。本文选用的程序是JM86,不支持high profile,因为本文不对high profile部分进行实验比较。
NOTE: JM一直没有做实用化方面的努力,所以其解码速度代表的是2003年的水平。
2、T264 decoder
T264是国内的开源项目,T264 decoder的程序做过汇编优化,速度还可以,但只能解T264本身的码流。作者对T264 decoder version 0.14(2005-3-29)作了修改,支持baseline的解码。
3、x264 decoder
x264本没有decoder,但其包含decoder的部分函数雏形,猜想作者在一开始时是准备实现decoder,后来可能是因为有了ffmpeg,就放弃了这个想法(纯粹属于猜测,呵呵)。
本文的x264 decoder是作者在x264 svn check out 2005.12.26的基础上实现的,支持baseline的解码。
4、ffmpeg libavcodec
ffmpeg是一个大项目,它包含各种音视频标准的codec,还支持各类file format(.avi, .mp4, .mkv and etc)的parsing。所以,很多开源项目都有直接或间接地采用了ffmpeg,如mplayer播放器就是直接采用了ffmpeg,而mpc播放器则是先采用了ffdshow filter,而
ffdshow又采用了ffmpeg。ffmpeg是一个非常棒的音视频编解码库,支持的标准非常全,而且编解码速度也很快。
本文实验采用的是cvs check out 2006.02.20的版本,作者对其中的apiexample demo进行了简单的修改,用于解码h.264码流
5、Intel IPP simple player
Intel的IPP库,全称为Integrated Performance Primitives,在Intel的各种处理器平台(IA-32, Itanium, xscale and etc)上实现了信号处理常用算法、常用数学运算及音视频编解码算法等等。IPP给我的第一感觉是,在Intel的处理器平台上,它实现的各种算法应该是最快的,至于实际结果如何,待等到实验比较后见分晓。
本文采用的IPP库版本为IA32 5.1.017 评估版
Intel IPP simple player是用于播放各种音视频文件的简单播放器,用c++实用,具体算法调用IPP库来实现。本文采用的simple player版本是5.0.017
二、对于H.264特性的支持
1、JM86 decoder
support baseline, extended, main profile
2、T264 decoder
baseline
3、x264 decodeer
baseline
4、ffmpeg libavcodec
support baseline, main profile, high profile except the feature: paff, mbaff…
5、Intel IPP simple player
support baseline and main profile
三、评测条件
1、所用测试序列
表1 所用测试序列
分辨率 | 序列名称 | 特点 | 编码帧数 |
| |||
QCIF | foreman | 纹理复杂度一般 运动剧烈:画面人物和镜头均运动,还有场景的切换 | 300 |
| |||
| CIF | foreman | 同上 | 300 | |||
| mthr_dotr | 背景简单 画面人物运动幅度不大 | 100 | ||||
| mobile | 纹理复杂度极高 运动形式丰富——画面有多个运动物体,但各运动物体运动方向规则且平缓,镜头也在移动 | 200 | ||||
| D1(720*480) | soccer2 | 镜头有移动,画面的足球运动员的运动也很剧烈 | 300 | |||
| puppy | 镜头无运动,画面中的玩具小狗也只有简单的运动 | 100 |
2、编码参数
编码程序:x264 svn check out 2006.05.06
参数设置示例:x264enc --frames 300 --no-cabac --qp 26 -o test.264 foreman.cif 352x288(相当于baseline)
量化步长:26和36
2、环境
CPU: Pentium4 2.4GHz, RAM: DDR 512M
OS: windows2000 professional+sp4
3、解码器程序编译环境
JM86 decoder: vc71 release
T264 decoder: vc71 release
x264 decodeer: vc71 release
ffmpeg libavcodec: MinGW
Intel IPP simple player: vc71 release + directX 9.0c sdk
4、解码参数设置
不保存重建序列(note: 是否保存重建序列对于解码速度的影响很大)
四、解码速度比较结果
待补充完整。。。
表2 解码速度比较(单位:fps)
分辨率 | 序列名称 | 量化步长 | JM86 decoder | x264 decodeer | ffmpeg libavcodec | |||
QCIF | foreman | 26 | 50fps左右 | 684.93 | 1196 | |||
36 | 874.64 | 1916.67 | ||||||
CIF | foreman | 26 | 15fps左右 | 168.44 |
| |||
|
|
| ||||||
| 303.86 | |||||||
36 | 190.11 | 503.37 | ||||||
mthr_dotr | 26 | 182.82 | 421.28 | |||||
36 | 200 | 634.62 | ||||||
mobile | 26 | 129.28 | 190.07 | |||||
36 | 173.01 | 353.46 | ||||||
D1(720*480) | soccer2 | 26 | 5fps左右 | 53.04 | 105.17 | |||
36 | 60.19 | 158.12 | ||||||
puppy | 26 | 61.54 |
| |||||
|
|
| ||||||
【note】
t264的解码程序能解jm baseline的码流,但无法解上面x264生成的码流,故无法给出实验结果。但通过对自身t264 fast mode码流的解码速度进行统计,t264 decoder和x264 decoder,解码速度降低40%左右。
Intel IPP simple player在我的电脑上编译未成功,在其它成功编译的电脑(xp系统,directx, vs.net, IPP均安装于C盘)上进行简单测试,其解码速度和ffmpeg的解码速度相比,降低10%左右。
【简单结论】
解码速度:ffmpeg > IPP simple player > x264 decoder > t264 decoder > jm86 decoder
以ffmpeg的编码速度为基准,假设为100fps,则:
IPP simple player:90fps
x264 decoder:50fps
t264 decoder:30fps
jm86 decoder:3fps
五、程序开发上的比较
我估计阅读本文的大部分读者都是搞开发的,因此,阅读过程中自然会思考如何在程序开发上借鉴或者采用以上开源的H.264解码器,下面就针对程序开发上的难易、适用场合等作个比较。
1、JM86 decoder
适合写paper群体
2、T264 decoder
3、x264 decodeer
两者代码非常相似,所以就合在一起讲了。这两个源码的程序结构都比较清晰,支持vc和gcc的编译环境,但对H.264的特性支持不好,解码速度和ffmpeg相比,还有差距。
4、ffmpeg libavcodec
程序结构比较差,
H.264解码的代码基本上在h264.c一个文件中,这个文件有8000多行,不利于阅读。
编译环境为gcc或MinGW,移植到vc下比较难(我尝试过)。
解码速度快(BTW: 通过doom9论坛了解到,目前最快的h.264解码器是CoreAVC decoder,比ffmpeg快50%左右)。
对于H.264特性的支持好。
5、Intel IPP simple player
分两个方面讲:
(a)IPP库
我觉得是非常棒的,但实现的是H.264解码(IPP中也有H.264编码)的一些关键函数,如deblock,dct,插值补偿等,不能直接拿来用。
其它的缺点:IPP库是商业软件,要money的,而且只支持Intel平台
(b)simple player
开源,用c++写的,而且是directshow编程,也就是说只支持windows平台。
其解码速度比ffmpeg慢10%左右,我觉得原因不在于IPP库,而是simple player的代码不够完善。
谨以本文对所有参与过H.264开源项目的开发者致以滔滔江水连绵不绝的敬意之情。