Stagefright,omx与Component的交互

本文深入探讨了Stagefright框架如何与OMX组件进行交互,特别是在多媒体数据解码过程中,如何通过mVideoRenderer将视频数据渲染到硬件层,以及如何利用mAudioSink和mAudioTrack将音频数据输出到硬件层面,揭示了Android系统多媒体处理的内部机制。
摘要由CSDN通过智能技术生成

Stagefright中的Extractor/Writer分别对应多媒体播放流程中的Demux/Remux,而Component对应Encoder/Decoder。本文以解码为例介绍Extractor如何工作,以及Stagefright和Component之间如何通过与OMX层对接,完成track分离及解码工作。

(之前的调用流程为:java层 -> jni -> mediaplayerservice -> stagefrightplayer -> awesomeplayer)

一、Extractor的工作:
    不管同步或异步,setDataSource() 最后会调用 AwesomePlayer::finishSetDataSource_l()
    finishSetDataSource_l 调用 MediaExtractor::Create()创建相应的Extractor(MP3Extrator、MPEG4Extractor etc.)
    每一个Extractor提供countTrack, getTrack等接口。
    其中getTrack返回一个XXXSource的实例,其提供read函数,作为回调接口,为后续的decode提供数据源
    Extractor就这么些活儿。


(值得注意的是,不是所有格式的播放都走完后面的decode流程,比如FLAC,FLACSource中返回的是已经解过码的数据,即MEDIA_MIMETYPE_AUDIO_RAW,将直接通过AudioTrack直接进行输出)

                

二、Stagefright、OMX、Component

    一)omx相关的封装
        1、OMXCodec    Stagefright封装此类作为解码后的数据源使用,即Awesomeplayer的mVideoSource/mAudioSource,播放时Awesomeplayer/Audioplayer直接使用mVideoSource/mAudioSource的read读取数据。具体解码工作由OMXCodec完成。
        
        2、OMXClient, OMX, OMXMaster                Stagefright和Component在不同的系统模块中(可理解为这俩甚至不同进程),通过OMX进行对接并交互,Stagefright作为客户端与服务端MediaPlayerService通过binder进行通信并建立omx模型,通过名字即可知道,OMXClient为客户端,OMX为服务端,实际上OMX把最后工作交给OMXMaster完成。
        最后Stagefright通过mClient(即OMXClient类的obj)调用服务端OMXMaster,实现对Component的发号施令。
        
        3、OMXNodeInstance
        Stagefright与Component的通信必须是双工的,才能完成任务交互,OMXNodeInstance可理解为一个信使。
        它通过handle、callback、owner完成交互工作:
            owner:nod
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值