Exoplayer使用记录1-播放多音轨视频

Exoplayer使用记录1-播放多音轨视频

By Xdestiny. 2018/2/5

概述

ExoPlayer是个好东西，基本上移动端的播放器除了IJKPlayer以外，应该就数这东西了吧。这里做一个系列，记录一下我摸索的一些东西。当然，本人并非专门搞播放器的，只是做一个记录而已。
最近接到一个需求，要求能够播放多音轨的视频。通常来说，视频中各个音轨对应着不同的播放场景，例如多语言、多码率。而现在的要求则是将所有音轨同时进行播放。

大致思路

其实一上来就能想到一个方法，就是实现做好预处理，把多个轨道压成一个轨道，这样就没有什么复杂的了。但如果是不能预先处理的情况下呢？
ExoPlayer有个好处就是有个相当活跃的社区。因此首先去Issue上搜索一下有没有类似的问题。
搜索后可以发现几个相关的问题
Exoplayer 2 - play multiple sounds/audio simultaneously (using MergingMediaSource?
Set the volume of multiple MediaSource’s in a MergingMediaSource
Background music during video playback
不过，好吧…似乎没有什么好的思路。干脆换个思路，如果是同时播多个视频呢？搜索一下相关的问题也有一些
Synchronizing Multiple ExoPlayers
这个就很好了，官方给了相关的解决方法。照着这个感觉应该OK。大体上来说就是：
- 重写MediaCodecAudioRenderer中的getMediaClock。因为现在是多个音轨，必须要显式指定一个音轨用于时钟同步
- 重写DefaultRenderersFactory中的buildAudioRenderers。原本只建立了一个AudioRenderer，现在需要依据视频中音轨的数目建立多个AudioRenderer
- 重写TrackSelector中的selectTracks。因为原本的代码只考虑了只有一个renderer的情况。

具体代码

基本没怎么碰过java，而且又感觉Kotlin很高大上，所以写的很渣，见谅
重写MediaCodecAudioRenderer

class MultiMediaCodecAudioRenderer(mainClock : Boolean, mediaCodecSelector : MediaCodecSelector,
                                   drmSessionManager : DrmSessionManager<FrameworkMediaCrypto>?,
                                   playClearSamplesWithoutKeys : Boolean, eventHandler : Handler?,
                                   eventListener : AudioRendererEventListener?, audioCapabilities : AudioCapabilities,
                                   vararg audioProcessors : AudioProcessor)
    : MediaCodecAudioRenderer(mediaCodecSelector, drmSessionManager, playClearSamplesWithoutKeys, eventHandler,
        eventListener, audioCapabilities, *audioProcessors)
{
    private val m_mainClock = mainClock

    override fun getMediaClock(): MediaClock? {
        if(m_mainClock)
            return super.getMediaClock()
        return null
    }

}

重写DefaultRenderersFactory

class MultiTrackRenderersFactory(context : Context, drmSessionManager: DrmSessionManager<FrameworkMediaCrypto>? = null,
                              @ExtensionRendererMode extensionRendererMode : Int = DefaultRenderersFactory.EXTENSION_RENDERER_MODE_OFF,
                              videoTrackCnt : Int = 1, audioTrackCnt : Int = 1)
    : DefaultRenderersFactory(context, drmSessionManager, extensionRendererMode) {

    private val m_videoTrackCnt = videoTrackCnt
    private val m_audioTrackCnt = audioTrackCnt

    override fun buildAudioRenderers(context: Context?, drmSessionManager: DrmSessionManager<FrameworkMediaCrypto>?, audioProcessors: Array<AudioProcessor>?, eventHandler: Handler?, eventListener: AudioRendererEventListener?, extensionRendererMode: Int, out: ArrayList<Renderer>?) {
        for (i in 0..m_audioTrackCnt - 1) {
            if(audioProcessors == null)
                out!!.add(MultiMediaCodecAudioRenderer(i == 0, MediaCodecSelector.DEFAULT, drmSessionManager, true,
                        eventHandler, eventListener, AudioCapabilities.getCapabilities(context)))
            else
                out!!.add(MultiMediaCodecAudioRenderer(i == 0, MediaCodecSelector.DEFAULT, drmSessionManager, true,
                        eventHandler, eventListener, AudioCapabilities.getCapabilities(context), *audioProcessors))
        }
    }
}

重写TrackSelector

class MultiTrackSelector : TrackSelector() {

    private val TAG = "MultiTrackSelector"

    init {
        Log.d(TAG, "init")
    }

    var currentMappedTrackInfo: MappingTrackSelector.MappedTrackInfo? = null
        get() = field
        private set(value){
            field = value
        }

    override fun onSelectionActivated(info: Any?) {
        currentMappedTrackInfo = info as MappingTrackSelector.MappedTrackInfo?
    }

    override fun selectTracks(rendererCapabilities: Array<out RendererCapabilities>, trackGroups: TrackGroupArray): TrackSelectorResult {
        Log.d(TAG, "renderer count = ${rendererCapabilities.size}. trackGroups count = ${trackGroups.length}")
        val rendererCount = rendererCapabilities.size
        val rendererTrackSelections = arrayOfNulls<TrackSelection>(rendererCount)

        //这里先凑合一下
        for(i in rendererCapabilities.indices){
            when(rendererCapabilities[i].trackType){
                C.TRACK_TYPE_VIDEO->{
                    rendererTrackSelections[i] = FixedTrackSelection(trackGroups[i], 0)
                }
                C.TRACK_TYPE_AUDIO->{
                    if(trackGroups.length > i)
                        rendererTrackSelections[i] = FixedTrackSelection(trackGroups[i], 0)
                }
                C.TRACK_TYPE_TEXT->{
                    if(trackGroups.length > i)
                        rendererTrackSelections[i] = FixedTrackSelection(trackGroups[i], 0)
                }
                else->{

                }
            }
        }

        val rendererConfigurations = arrayOfNulls<RendererConfiguration>(rendererCapabilities.size)
        for (i in rendererCapabilities.indices) {
            rendererConfigurations[i] = if (rendererTrackSelections[i] != null) RendererConfiguration.DEFAULT else null
        }

        return TrackSelectorResult(trackGroups, TrackSelectionArray(*rendererTrackSelections), null, rendererConfigurations)
    }
}

中间可以看到，我省去了原本代码中的一大堆与码率、格式有关的判定，因此是凑合一下。