(六)音视频 MediaCodec使用遇到的问题

在Android应用中使用MediaCodec进行音视频编码解码时,遇到了内存问题,因为每一帧都在新建大数组。解决方案是创建一个全局的outData数组,并使用byteBuffer.get方法获取数据,避免频繁分配内存。此外,MediaCodec的配置问题也可能导致错误,如CodecProfileLevel的设置。当在安卓电视上同时进行手机投屏时,dequeueInputBuffer的超时时间需要设置正确,否则会出现错误。
摘要由CSDN通过智能技术生成

遇到的问题

1. apk在手机上运行OK,但是安装到安卓电视(AOT)上运行,出现:
    android.media.MediaCodec$CodecException: Error 0xffffffc3
2. apk在安卓电视上(AOT)上运行OK,如果同时进行手机投屏到此电视上,出现:
    System.err: android.media.MediaCodec$CodecException: Error 0xffffffe0
  1. 用MediaCodec编码解码得到数据后,需要从buffer中拿到数据:
    每一帧中从buffer拿数据到outData

                      byte[] outData=new byte[bufferInfo.size];
                      byteBuffer.get(outData);
    

    这样每一帧都new一个大数组,这样会导致内存问题

解决问题

1. apk在手机上运行OK,但是安装到安卓电视(AOT)上运行,出现:
    android.media.MediaCodec$CodecException: Error 0xffffffc3
    根据Log中提示定位到行:
    mMediaCodec.configure(mediaFormat,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);
    说明mMediaCodec配置有错误,继续查看mMediaCodec的配置。
    配置代码如下:
mMediaCodec=MediaCodec.createEncoderByType(MIME_TYPE);
MediaFormat mediaFormat=MediaFormat.createVideoFormat(MIME_TYPE,width,height);
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE,bitrate);
mediaFormat.setInteger(mediaFormat.KEY_BITRATE_MODE,MediaCodecInfo.EncoderCapabilities.BITRATE_MODE_VBR);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE,frameRate);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);
mediaFormat.setInterger(MediaFormat.KEY_I_FRAME_INTERNAL,1);
mediaFormat.setInterger(MediaFormat.KEY_PROTILE,MediaCodecinfo.CodecProfilelevel.AVCProfileHigh);
mediaFormat.setInteger(MediaFormat.KEY_LEVEL,MediaCodecInfo.CodecProfilelevel.HEVCHighTierLeverl31);
mMediaCodec.configure(mediaFormat,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);

把MediaCodec代码常见的配置保留,注释掉不常用的
mediaFormat.setInterger(MediaFormat.KEY_PROTILE,MediaCodecinfo.CodecProfilelevel.AVCProfileHigh);
mediaFormat.setInteger(MediaFormat.KEY_LEVEL,MediaCodecInfo.CodecProfilelevel.HEVCHighTierLeverl31); 然后运行就OK了。
查了这两个配置:
profile规定了视频编码采用了什么样的编码工具和编码算法,Level规定了某一档次的编码参数,tier规定了某一档次(profile)的某一水平(level)的最大比特率。都是可选配置,需要做兼容性检查,也就是出现android.media.MediaCodec$CodecException: Error 0xffffffc3 是MediaCodec的配置和运行的机器兼容性出了问题。

  1. apk在安卓电视上(AOT)上运行OK,如果同时进行手机投屏到此电视上,出现:
    System.err: android.media.MediaCodec$CodecException: Error 0xffffffe0
    从Log定位到出错的代码行:
    int inputBufferIndex=mDecode.dequeueInputBuffer(0);
    查下这个方法 dequeueInputBuffer
    public final int dequeueInputBuffer(long timeoutUs)
    返回用于填充的有效数据的输入buffer的索引,如果当前没有可用的buffer,则返回-1.
    long timeoutUs:等待可用的输入buffer的时间。

    如果timeoutUs == 0,则立即返回。
    如果timeoutUs<0,则无限期等待可用的输入buffer.
    如果timeoutUs>0,则等待"timeoutUs"微秒。

投屏到电视上,这个时候也需要解码,因此这个时候timeoutUs不能写为0
这句代码改成:

int inputBufferIndex=mDecode.dequeueInputBuffer(100);
  1. 用MediaCodec编码解码得到数据后,需要从buffer中拿到数据:
    每一帧中从buffer拿数据到outData

                      byte[] outData=new byte[bufferInfo.size];
                      byteBuffer.get(outData);
    

    这样每一帧都new一个大数组,这样会导致内存问题

    解决方法:new一个全局的outData大的数组,然后拿解码的数据时,用byteBuffer.get三个参数的方法:
    byteBuffer.get(outData,0,bufferInfo.size);

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
使用 Android 中的 MediaCodec 进行音视频解码时,可以通过以下步骤实现音视频同步: 1. 创建 MediaCodec 对象并配置:首先,创建音频和视频的 MediaCodec 对象,并分别进行配置。设置音频解码器和视频解码器的格式、数据源等参数。 2. 创建音视频解码器的输入缓冲区和输出缓冲区:为音频和视频解码器分别创建输入缓冲区和输出缓冲区。将待解码的音频数据和视频数据分别填充到对应的输入缓冲区。 3. 解码音频和视频数据:循环进行音频和视频数据解码。从输入缓冲区获取待解码的数据,将其传递给对应的解码器进行解码。解码后的数据将被写入输出缓冲区。 4. 同步音视频播放:在解码过程中,可以通过比较音频帧和视频帧的时间戳来进行同步。根据时间戳之差调整音频和视频的播放速率。可以使用系统时钟或者自定义的时钟来控制音视频的播放时间。 5. 渲染音频和视频数据:从输出缓冲区获取已解码的音频数据和视频数据。使用音频播放器进行音频渲染,使用视频渲染器进行视频渲染。确保音频和视频的渲染保持同步。 需要注意的是,音视频同步涉及到多线程操作,需要仔细处理线程同步和数据传递的问题。同时,还需要考虑音视频的缓冲、延迟等因素,以提供更好的用户体验。 此外,还可以使用其他辅助工具和框架,如音频同步器和视频同步器,来帮助实现更精确的音视频同步。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序猫 猫小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值