【Android 音视频开发打怪升级：音视频硬解码篇，技术水平真的很重要

最新推荐文章于 2024-06-25 15:46:15 发布
最新推荐文章于 2024-06-25 15:46:15 发布
阅读量365 收藏 6
点赞数 4
分类专栏： 2024年程序员学习 文章标签： android 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83739777/article/details/137101445
版权

/**

  • 获取当前帧时间
    */
    fun getCurrentTimestamp(): Long

/**

  • Seek到指定位置，并返回实际帧的时间戳
    */
    fun seek(pos: Long): Long

fun setStartPos(pos: Long)

/**

  • 停止读取数据
    */
    fun stop()
    }

最重要的一个方法就是readBuffer，用于读取音视频数据流

定义解码流程

前面我们只贴出了解码器的参数部分，接下来，贴出最重要的部分，也就是解码流程部分。

abstract class BaseDecoder: IDecoder {
//省略参数定义部分，见上
…

final override fun run() {
mState = DecodeState.START
mStateListener?.decoderPrepare(this)

//【解码步骤：1. 初始化，并启动解码器】
if (!init()) return

while (mIsRunning) {
if (mState != DecodeState.START &&
mState != DecodeState.DECODING &&
mState != DecodeState.SEEKING) {
waitDecode()
}

if (!mIsRunning ||
mState == DecodeState.STOP) {
mIsRunning = false
break
}

//如果数据没有解码完毕，将数据推入解码器解码
if (!mIsEOS) {
//【解码步骤：2. 将数据压入解码器输入缓冲】
mIsEOS = pushBufferToDecoder()
}

//【解码步骤：3. 将解码好的数据从缓冲区拉取出来】
val index = pullBufferFromDecoder()
if (index >= 0) {
//【解码步骤：4. 渲染】
render(mOutputBuffers!![index], mBufferInfo)
//【解码步骤：5. 释放输出缓冲】
mCodec!!.releaseOutputBuffer(index, true)
if (mState == DecodeState.START) {
mState = DecodeState.PAUSE
}
}
//【解码步骤：6. 判断解码是否完成】
if (mBufferInfo.flags == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
mState = DecodeState.FINISH
mStateListener?.decoderFinish(this)
}
}
doneDecode()
//【解码步骤：7. 释放解码器】
release()
}

/**

  • 解码线程进入等待
    */
    private fun waitDecode() {
    try {
    if (mState == DecodeState.PAUSE) {
    mStateListener?.decoderPause(this)
    }
    synchronized(mLock) {
    mLock.wait()
    }
    } catch (e: Exception) {
    e.printStackTrace()
    }
    }

/**

  • 通知解码线程继续运行
    */
    protected fun notifyDecode() {
    synchronized(mLock) {
    mLock.notifyAll()
    }
    if (mState == DecodeState.DECODING) {
    mStateListener?.decoderRunning(this)
    }
    }

/**

  • 渲染
    */
    abstract fun render(outputBuffers: ByteBuffer,
    bufferInfo: MediaCodec.BufferInfo)

/**

  • 结束解码
    */
    abstract fun doneDecode()
    }

在Runnable的run回调方法中，集成了整个解码流程:

  • 【解码步骤：1. 初始化，并启动解码器】

abstract class BaseDecoder: IDecoder {
//省略上面已有代码
…

private fun init(): Boolean {
//1.检查参数是否完整
if (mFilePath.isEmpty() || File(mFilePath).exists()) {
Log.w(TAG, “文件路径为空”)
mStateListener?.decoderError(this, “文件路径为空”)
return false
}
//调用虚函数，检查子类参数是否完整
if (!check()) return false

//2.初始化数据提取器
mExtractor = initExtractor(mFilePath)
if (mExtractor == null ||
mExtractor!!.getFormat() == null) return false

//3.初始化参数
if (!initParams()) return false

//4.初始化渲染器
if (!initRender()) return false

//5.初始化解码器
if (!initCodec()) return false
return true
}

private fun initParams(): Boolean {
try {
val format = mExtractor!!.getFormat()!!
mDuration = format.getLong(MediaFormat.KEY_DURATION) / 1000
if (mEndPos == 0L) mEndPos = mDuration

initSpecParams(mExtractor!!.getFormat()!!)
} catch (e: Exception) {
return false
}
return true
}

private fun initCodec(): Boolean {
try {
//1.根据音视频编码格式初始化解码器
val type = mExtractor!!.getFormat()!!.getString(MediaFormat.KEY_MIME)
mCodec = MediaCodec.createDecoderByType(type)
//2.配置解码器
if (!configCodec(mCodec!!, mExtractor!!.getFormat()!!)) {
waitDecode()
}
//3.启动解码器
mCodec!!.start()

//4.获取解码器缓冲区
mInputBuffers = mCodec?.inputBuffers
mOutputBuffers = mCodec?.outputBuffers
} catch (e: Exception) {
return false
}
return true
}

/**

  • 检查子类参数
    */
    abstract fun check(): Boolean

/**

  • 初始化数据提取器
    */
    abstract fun initExtractor(path: String): IExtractor

/**

  • 初始化子类自己特有的参数
    */
    abstract fun initSpecParams(format: MediaFormat)

/**

  • 初始化渲染器
    */
    abstract fun initRender(): Boolean

/**

  • 配置解码器
    */
    abstract fun configCodec(codec: MediaCodec, format: MediaFormat): Boolean
    }

初始化方法中，分为5个步骤，看起很复杂，实际很简单。

  1. 检查参数是否完整：路径是否有效等

  2. 初始化数据提取器：初始化Extractor

  3. 初始化参数：提取一些必须的参数：duration，width，height等

  4. 初始化渲染器：视频不需要，音频为AudioTracker

  5. 初始化解码器：初始化MediaCodec

在initCodec()中，

val type = mExtractor!!.getFormat()!!.getString(MediaFormat.KEY_MIME)
mCodec = MediaCodec.createDecoderByType(type)

初始化MediaCodec的时候：

  1. 首先，通过Extractor获取到音视频数据的编码信息MediaFormat；
  2. 然后，查询MediaFormat中的编码类型（如video/avc，即H264；audio/mp4a-latm，即AAC）；
  3. 最后，调用createDecoderByType创建解码器。

需要说明的是：由于音频和视频的初始化稍有不同，所以定义了几个虚函数，将不同的东西交给子类去实现。具体将在下一篇文章[音视频播放：音视频同步]说明。

  • 【解码步骤：2. 将数据压入解码器输入缓冲】

直接进入pushBufferToDecoder方法中

abstract class BaseDecoder: IDecoder {
//省略上面已有代码
…

private fun pushBufferToDecoder(): Boolean {
var inputBufferIndex = mCodec!!.dequeueInputBuffer(2000)
var isEndOfStream = false

if (inputBufferIndex >= 0) {
val inputBuffer = mInputBuffers!![inputBufferIndex]
val sampleSize = mExtractor!!.readBuffer(inputBuffer)
if (sampleSize < 0) {
//如果数据已经取完，压入数据结束标志：BUFFER_FLAG_END_OF_STREAM
mCodec!!.queueInputBuffer(inputBufferIndex, 0, 0,
0, MediaCodec.BUFFER_FLAG_END_OF_STREAM)
isEndOfStream = true
} else {
mCodec!!.queueInputBuffer(inputBufferIndex, 0,
sampleSize, mExtractor!!.getCurrentTimestamp(), 0)
}
}
return isEndOfStream
}
}

调用了以下方法：

  1. 查询是否有可用的输入缓冲，返回缓冲索引。其中参数2000为等待2000ms，如果填入-1则无限等待。

var inputBufferIndex = mCodec!!.dequeueInputBuffer(2000)

  1. 通过缓冲索引 inputBufferIndex 获取可用的缓冲区，并使用Extractor提取待解码数据，填充到缓冲区中。

val inputBuffer = mInputBuffers!![inputBufferIndex]
val sampleSize = mExtractor!!.readBuffer(inputBuffer)

  1. 调用queueInputBuffer将数据压入解码器。

mCodec!!.queueInputBuffer(inputBufferIndex, 0,
sampleSize, mExtractor!!.getCurrentTimestamp(), 0)

注意：如果SampleSize返回-1，说明没有更多的数据了。

这个时候，queueInputBuffer的最后一个参数要传入结束标记MediaCodec.BUFFER_FLAG_END_OF_STREAM。

  • 【解码步骤：3. 将解码好的数据从缓冲区拉取出来】

直接进入pullBufferFromDecoder()

abstract class BaseDecoder: IDecoder {
//省略上面已有代码
…

private fun pullBufferFromDecoder(): Int {
// 查询是否有解码完成的数据，index >=0 时，表示数据有效，并且index为缓冲区索引
var index = mCodec!!.dequeueOutputBuffer(mBufferInfo, 1000)
when (index) {
MediaCodec.INFO_OUTPUT_FORMAT_CHANGED -> {}
MediaCodec.INFO_TRY_AGAIN_LATER -> {}
MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED -> {
mOutputBuffers = mCodec!!.outputBuffers
}
else -> {
return index
}
}
return -1
}
}

第一、调用dequeueOutputBuffer方法查询是否有解码完成的可用数据，其中mBufferInfo用于获取数据帧信息，第二参数是等待时间，这里等待1000ms，填入-1是无限等待。

var index = mCodec!!.dequeueOutputBuffer(mBufferInfo, 1000)

第二、判断index类型：

MediaCodec.INFO_OUTPUT_FORMAT_CHANGED：输出格式改变了

MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED：输入缓冲改变了

MediaCodec.INFO_TRY_AGAIN_LATER：没有可用数据，等会再来

大于等于0：有可用数据，index就是输出缓冲索引

  • 【解码步骤：4. 渲染】

这里调用了一个虚函数render，也就是将渲染交给子类

  • 【解码步骤：5. 释放输出缓冲】

调用releaseOutputBuffer方法， 释放输出缓冲区。

注：第二个参数，是个boolean，命名为render，这个参数在视频解码时，用于决定是否要将这一帧数据显示出来。

mCodec!!.releaseOutputBuffer(index, true)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
img
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

img
img

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V：vip204888 备注Android获取（资料价值较高，非无偿）
img

建议

当我们出去找工作，或者准备找工作的时候，我们一定要想，我面试的目标是什么，我自己的技术栈有哪些，近期能掌握的有哪些，我的哪些短板 ，列出来，有计划的去完成，别看前两天掘金一些大佬在驳来驳去 ，他们的观点是他们的，不要因为他们的观点，膨胀了自己，影响自己的学习节奏。基础很大程度决定你自己技术层次的厚度，你再熟练框架也好，也会比你便宜的，性价比高的替代，很现实的问题但也要有危机意识，当我们年级大了，有哪些亮点，与比我们经历更旺盛的年轻小工程师，竞争。

  • 无论你现在水平怎么样一定要 持续学习 没有鸡汤，别人看起来的毫不费力，其实费了很大力，这四个字就是我的建议！！！！！！！！！

  • 准备想说怎么样写简历，想象算了，我觉得，技术就是你最好的简历

  • 我希望每一个努力生活的it工程师，都会得到自己想要的，因为我们很辛苦，我们应得的。

  • 有什么问题想交流，欢迎给我私信，欢迎评论

【附】相关架构及资料

Android高级技术大纲

面试资料整理

内含往期Android高级架构资料、源码、笔记、视频。高级UI、性能优化、架构师课程、NDK、混合式开发（ReactNative+Weex）微信小程序、Flutter全方面的Android进阶实践技术

平怎么样一定要 持续学习 没有鸡汤，别人看起来的毫不费力，其实费了很大力，这四个字就是我的建议！！！！！！！！！

  • 准备想说怎么样写简历，想象算了，我觉得，技术就是你最好的简历

  • 我希望每一个努力生活的it工程师，都会得到自己想要的，因为我们很辛苦，我们应得的。

  • 有什么问题想交流，欢迎给我私信，欢迎评论

【附】相关架构及资料

[外链图片转存中…(img-CMtOvOT2-1711590895662)]

[外链图片转存中…(img-AIYtfOBk-1711590895662)]

内含往期Android高级架构资料、源码、笔记、视频。高级UI、性能优化、架构师课程、NDK、混合式开发（ReactNative+Weex）微信小程序、Flutter全方面的Android进阶实践技术

本文已被CODING开源项目：《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录

2401_83739777
关注
专栏目录
【Android 音视频开发打怪升级：FFmpeg音视频编解码篇】二、Android 引入FFmpeg
开发的猫的博客
06-24 452
【声 明】 首先，这一系列文章均基于自己的理解和实践，可能有不对的地方，欢迎大家指正。 其次，这是一个入门系列，涉及的知识也仅限于够用，深入的知识网上也有许许多多的博文供大家学习了。 最后，写文章过程中，会借鉴参考其他人分享的文章，会在文章最后列出，感谢这些作者的分享。 码字不易，转载请注明出处！ 教程代码：【Github传送门】 目录 一、Android音视频硬解码篇： 1，音视频基础知识 2，音视频硬解码流程：封装基础解码框架 3，音视频播放：音视频同步 4，音视频解封和封装：生成.
【Android 音视频开发打怪升级：音视频硬解码篇，手机移动开发技术
wqwq_22的博客
02-04 691
继续解码 */ fun goOn() /** 停止解码 */ fun stop() /** 是否正在解码 */ fun isDecoding(): Boolean /** 是否正在快进 */ fun isSeeking(): Boolean /** 是否停止解码 */ fun isStop(): Boolean /** 设置状态监听器 */ fun setStateListener(l: IDecoderStateListener?) /** 获取视频宽 */ fun getWid.
【Android 音视频开发打怪升级：音视频硬解码篇】一、音视频基础知识
开发的猫的博客
09-20 1772
作为开篇的文章，我们先来看看音视频由什么构成的，以及一些常见的术语和概念。
音视频编解码常用知识点
最新发布
panxixia的博客
06-25 955
实现HTTP Live Streaming直播，需要研究并实现以下技术关键点 >* 采集视频源和音频源的数据 >* 对原始数据进行H264编码和AAC编码 >* 视频和音频数据封装为MPEG-TS包 (连续的、很短时长的媒体文件)>* HLS分段生成策略及m3u8索引文件 >* HTTP传输协议。SIP会话传输一些简单的经过报文的实时传输协议流，RTP/RTCP本身才是语音或视频的载体。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。RTSP 的语法和 HTTP 的语法基本相同。
【Android 音视频开发打怪升级：FFmpeg音视频编解码篇，Android程序员月薪20k的涨薪秘籍
m0_66264798的博客
01-30 6222
后面我们将对其中一些重要的内容进行分析，这是理解 FFmpeg 编译配置的关键。 有了以上基础以后，就可以对FFmpeg进行编译了。 配置脚本 修改 configure 脚本 新增 cross_prefix_clang 参数 打开（注：不是双击运行） ffmpeg-4.2.2 根目录下的 configure 文件，搜索 CMDLINE_SET ,可以找到以下代码，然后新增一个命令行选项：cross_prefix_clang CMDLINE_SET=" $PATHS_LIST ar arch as a
【Android 音视频开发打怪升级：FFmpeg 音视频编解码篇】三、Android FFmpeg视频解码播放...
音视频开发进阶
07-29 634
教程代码：https://github.com/ChenLittlePing/LearningVideo目录一、Android音视频硬解码篇：1，音视频基础知识2，音视频硬解码流程：封装...
【Android 音视频开发打怪升级：音视频硬解码篇】二、音视频硬解码流程：封装基础解码框架
Android062002的博客
08-25 474
本文你可以了解到 本文主要简介Android使用硬解码API实现硬解码的流程，包含MediaCodec输入输出缓冲、MediaCodec解码流程、解码代码封装和讲解。 一、简介 MediaCodec 是Android 4.1(api 16)版本引入的编解码接口，同时支持音视频的编码和解码。 一定要好好理解接下来这两幅图，因为后续的代码就是基于这两幅图来编写的。 数据流 首先，来看看MediaCodec的数据流，也是官方Api文档中的，很多文章都会引用。 仔细看一下，MediaCodec将数据分为两
【Android 音视频开发打怪升级：音视频硬解码篇】二、音视频硬解码流程：封装基础解码框架(1)
2401_84132544的博客
05-01 1009
MediaCodec 是Android 4.1(api 16)版本引入的编解码接口，同时支持音视频的编码和解码。一定要好好理解接下来这两幅图，因为后续的代码就是基于这两幅图来编写的。因此，我们将整个解码流程抽象为一个解码基类：BaseDecoder，为了规范代码和更好的拓展性，我们先定义一个解码器：IDecoder，继承Runnable。/**暂停解码*//**继续解码*/fun goOn()/**停止解码*/fun stop()/**是否正在解码*//**
【Android 音视频开发打怪升级：音视频硬解码篇】三、音视频播放：音视频同步(1)
2401_84123150的博客
04-18 1044
首先是感觉自己的基础还是不够吧，大厂好像都喜欢问这些底层原理。之前的准备只涉及了Java、Android、计网、数据结构与算法这些方面，面对面试官对其他基础课程的考察显得捉襟见肘。下一步还是要查漏补缺，进行针对性复习。最后的最后，那套资料这次一定要全部看完，是真的太全面了，各个知识点都涵盖了，几乎我面试遇到的所有问题的知识点这里面都有！希望大家不要犯和我一样的错误呀！！！一定要看完！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
【Android 音视频开发打怪升级：音视频硬解码篇】三、音视频播放：音视频同步
开发的猫的博客
10-08 880
【声 明】 首先，这一系列文章均基于自己的理解和实践，可能有不对的地方，欢迎大家指正。 其次，这是一个入门系列，涉及的知识也仅限于够用，深入的知识网上也有许许多多的博文供大家学习了。 最后，写文章过程中，会借鉴参考其他人分享的文章，会在文章最后列出，感谢这些作者的分享。 码字不易，转载请注明出处！ 教程代码：【Github传送门】 目录 一、Android音视频硬解码篇： 1...
Android系统下的视频硬解码MediaCodecDemo
11-15
Android系统下的视频硬解码demo，调用系统api，android 4.1.2+系统可用，根据github上的代码改的，增加选择文件功能，共享给大家，方便研究。MediaCodec。 Github链接 -> https://github.com/vecio/MediaCodecDemo 我的开发笔记 -> http://blog.csdn.net/shawnkong/article/details/16337381
Android音视频的编解码
05-21
详细高清的音视频编解码教程，结合Android源码目录结构详细讲解，最全面的音视频编解码资料。
Android 用MediaCodec实现视频硬解码
12-28
Android 用MediaCodec实现视频硬解码 发送视频流 写文件 可播放
Android音频视频硬编码和解码_MediaCodec
12-26
Android音频视频硬编码和解码_MediaCodec，采用系统自带的编码器和解码器MediaCodec，研究中遇到很多坑，在此记录下来，方便自己和朋友们查看。
Android 硬解码MediaCodecDemo
12-12
1 MediaCodec硬解码demo 2 包含h264码流资源 3 包含如何处理硬解码过程中出现的各种crash／anr／黑屏
【Android 音视频开发打怪升级：FFmpeg音视频编解码篇】一、FFmpeg so库编译
2401_84121588的博客
04-11 959
make -j12build这个shell脚本，大体上其实还是很容易懂的，比如分别用于禁止输出静态库，以及输出动态库；--arch--cpu用于配置输出的so库是什么架构的；--prefix用于配置输出的so库的存放路径。接下来重点来讲一下几个选项：target-os：在旧版本的FFmpeg中，对Android平台的支持并不是很完善，并没有android这个target，所以在一些比较老的文章中都会提到，编译Android平台的so库，需要对configure做以下修改，否则会按照linux。
Android 音视频开篇：基础知识（硬解码）
1
06-02 1174
目录 一、Android音视频硬解码篇： 1，音视频基础知识 2，音视频硬解码流程：封装基础解码框架 3，音视频播放：音视频同步 4，音视频解封和封装：生成一个MP4 二、使用OpenGL渲染视频画面篇 1，初步了解OpenGL ES 2，使用OpenGL渲染视频画面 3，OpenGL渲染多视频，实现画中画 4，深入了解OpenGL之EGL 5，OpenGL FBO数据缓冲区 6，Android音视频硬编码：生成一个MP4 三、Android FFmpeg音视频解码篇 1，...
Android音视频开发学习——硬解码
qq_28898075的博客
08-11 4381
本篇文章较长，记录自己学习安卓中音视频相关知识的笔记。 视频 帧 视频由许多个帧构成，一个帧相当于一张图片 。 帧率 是单位时间内的帧数，决定了视频的流畅度。单位是帧/秒或者frames per second（fps），越大视频越自然流畅。 电影帧率 ：24，25fps 游戏帧率：30,60 fps 色彩空间 是在某些标准下用通常可接受的方式对彩色加以描述。用于彩色监视器和一大类彩色视频摄像。 RGB RGB图像具有三个通道R、G、B，分别对应红、绿、蓝三个分量，由三个分量的值决定颜色 YUV 是根据一个亮
编程挑战：小易打怪升级与黑默丁格的炮台伤害计算
"网易2016年研发工程师面试中涉及的编程题目及解答，包含两个问题：小易打怪升级和黑默丁格的炮台伤害计算。" 编程题目一：小易打怪升级 这个题目考察的是动态规划和最大公约数（GCD）的概念。小易的角色初始能力值...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值