- 读取音视频数据
*/
fun readBuffer(byteBuffer: ByteBuffer): Int
/**
- 获取当前帧时间
*/
fun getCurrentTimestamp(): Long
/**
- Seek到指定位置,并返回实际帧的时间戳
*/
fun seek(pos: Long): Long
fun setStartPos(pos: Long)
/**
- 停止读取数据
*/
fun stop()
}
有了上面封装的工具,一切就变得很简单了,做一个代理转接就行了。
- 视频提取器
class VideoExtractor(path: String): IExtractor {
private val mMediaExtractor = MMExtractor(path)
override fun getFormat(): MediaFormat? {
return mMediaExtractor.getVideoFormat()
}
override fun readBuffer(byteBuffer: ByteBuffer): Int {
return mMediaExtractor.readBuffer(byteBuffer)
}
override fun getCurrentTimestamp(): Long {
return mMediaExtractor.getCurrentTimestamp()
}
override fun seek(pos: Long): Long {
return mMediaExtractor.seek(pos)
}
override fun setStartPos(pos: Long) {
return mMediaExtractor.setStartPos(pos)
}
override fun stop() {
mMediaExtractor.stop()
}
}
- 音频提取器
class AudioExtractor(path: String): IExtractor {
private val mMediaExtractor = MMExtractor(path)
override fun getFormat(): MediaFormat? {
return mMediaExtractor.getAudioFormat()
}
override fun readBuffer(byteBuffer: ByteBuffer): Int {
return mMediaExtractor.readBuffer(byteBuffer)
}
override fun getCurrentTimestamp(): Long {
return mMediaExtractor.getCurrentTimestamp()
}
override fun seek(pos: Long): Long {
return mMediaExtractor.seek(pos)
}
override fun setStartPos(pos: Long) {
return mMediaExtractor.setStartPos(pos)
}
override fun stop() {
mMediaExtractor.stop()
}
}
二、视频播放
我们先来定义一个视频解码器子类,继承BaseDecoder
class VideoDecoder(path: String,
sfv: SurfaceView?,
surface: Surface?): BaseDecoder(path) {
private val TAG = “VideoDecoder”
private val mSurfaceView = sfv
private var mSurface = surface
override fun check(): Boolean {
if (mSurfaceView == null && mSurface == null) {
Log.w(TAG, “SurfaceView和Surface都为空,至少需要一个不为空”)
mStateListener?.decoderError(this, “显示器为空”)
return false
}
return true
}
override fun initExtractor(path: String): IExtractor {
return VideoExtractor(path)
}
override fun initSpecParams(format: MediaFormat) {
}
override fun configCodec(codec: MediaCodec, format: MediaFormat): Boolean {
if (mSurface != null) {
codec.configure(format, mSurface , null, 0)
notifyDecode()
} else {
mSurfaceView?.holder?.addCallback(object : SurfaceHolder.Callback2 {
override fun surfaceRedrawNeeded(holder: SurfaceHolder) {
}
override fun surfaceChanged(holder: SurfaceHolder, format: Int, width: Int, height: Int) {
}
override fun surfaceDestroyed(holder: SurfaceHolder) {
}
override fun surfaceCreated(holder: SurfaceHolder) {
mSurface = holder.surface
configCodec(codec, format)
}
})
return false
}
return true
}
override fun initRender(): Boolean {
return true
}
override fun render(outputBuffers: ByteBuffer,
bufferInfo: MediaCodec.BufferInfo) {
}
override fun doneDecode() {
}
}
上篇文章中,定义好了解码流程框架,子类定义就很简单清晰了,只需按部就班,填写基类中预留的虚函数即可。
- 检查参数
可以看到,视频解码支持两种类型渲染表面,一个是SurfaceView,一个Surface。当其实最后都是传递Surface给MediaCodec
- SurfaceView应该是大家比较熟悉的View了,最常使用的就是用来做MediaPlayer的显示。当然也可以绘制图片、动画等。
- Surface应该不是很常用了,这里为了支持后续使用OpenGL来渲染视频,所以预先做了支持。
- 生成数据提取器
override fun initExtractor(path: String): IExtractor {
return VideoExtractor(path)
}
配置解码器
解码器的配置只需一句代码:
codec.configure(format, mSurface , null, 0)
不知道在上一篇文章,你有没有发现,在BaseDecoder初始化解码器的方法initCodec()中, 调用了configCodec方法后,会进入waitDecode方法,将线程挂起。
abstract class BaseDecoder(private val mFilePath: String): IDecoder {
//省略其他
…
private fun initCodec(): Boolean {
try {
val type = mExtractor!!.getFormat()!!.getString(MediaFormat.KEY_MIME)
mCodec = MediaCodec.createDecoderByType(type)
if (!configCodec(mCodec!!, mExtractor!!.getFormat()!!)) {
waitDecode()
}
mCodec!!.start()
mInputBuffers = mCodec?.inputBuffers
mOutputBuffers = mCodec?.outputBuffers
} catch (e: Exception) {
return false
}
return true
}
}
初始化Surface
就是因为考虑到一个问题,SurfaceView的创建是有一个时间过程的,并非马上可以使用,需要通过CallBack来监听它的状态。
在surface初始化完毕后,再配置MediaCodec。
override fun surfaceCreated(holder: SurfaceHolder) {
mSurface = holder.surface
configCodec(codec, format)
}
如果使用OpenGL直接传递surface进来,直接配置MediaCodec即可。
渲染
上文提到过,视频的渲染并不需要客户端手动去渲染,只需提供绘制表面surface,调用releaseOutputBuffer,将2个参数设置为true即可。所以,这里也不用在做什么操作了。
mCodec!!.releaseOutputBuffer(index, true)
三、音频播放
有了上面视频播放器的基础以后,音频播放器也是分分钟搞定的事了。
class AudioDecoder(path: String): BaseDecoder(path) {
/*采样率/
private var mSampleRate = -1
/*声音通道数量/
private var mChannels = 1
/*PCM采样位数/
private var mPCMEncodeBit = AudioFormat.ENCODING_PCM_16BIT
/*音频播放器/
private var mAudioTrack: AudioTrack? = null
/*音频数据缓存/
private var mAudioOutTempBuf: ShortArray? = null
override fun check(): Boolean {
return true
}
override fun initExtractor(path: String): IExtractor {
return AudioExtractor(path)
}
override fun initSpecParams(format: MediaFormat) {
try {
mChannels = format.getInteger(MediaFormat.KEY_CHANNEL_COUNT)
mSampleRate = format.getInteger(MediaFormat.KEY_SAMPLE_RATE)
mPCMEncodeBit = if (format.containsKey(MediaFormat.KEY_PCM_ENCODING)) {
format.getInteger(MediaFormat.KEY_PCM_ENCODING)
} else {
//如果没有这个参数,默认为16位采样
AudioFormat.ENCODING_PCM_16BIT
}
} catch (e: Exception) {
}
}
override fun configCodec(codec: MediaCodec, format: MediaFormat): Boolean {
codec.configure(format, null , null, 0)
return true
}
override fun initRender(): Boolean {
val channel = if (mChannels == 1) {
//单声道
AudioFormat.CHANNEL_OUT_MONO
} else {
//双声道
AudioFormat.CHANNEL_OUT_STEREO
}
//获取最小缓冲区
val minBufferSize = AudioTrack.getMinBufferSize(mSampleRate, channel, mPCMEncodeBit)
mAudioOutTempBuf = ShortArray(minBufferSize/2)
mAudioTrack = AudioTrack(
AudioManager.STREAM_MUSIC,//播放类型:音乐
mSampleRate, //采样率
channel, //通道
mPCMEncodeBit, //采样位数
minBufferSize, //缓冲区大小
AudioTrack.MODE_STREAM) //播放模式:数据流动态写入,另一种是一次性写入
mAudioTrack!!.play()
return true
}
override fun render(outputBuffer: ByteBuffer,
bufferInfo: MediaCodec.BufferInfo) {
if (mAudioOutTempBuf!!.size < bufferInfo.size / 2) {
mAudioOutTempBuf = ShortArray(bufferInfo.size / 2)
}
outputBuffer.position(0)
outputBuffer.asShortBuffer().get(mAudioOutTempBuf, 0, bufferInfo.size/2)
mAudioTrack!!.write(mAudioOutTempBuf!!, 0, bufferInfo.size / 2)
}
override fun doneDecode() {
mAudioTrack?.stop()
mAudioTrack?.release()
}
}
初始化流程和视频是一样的,不一样的地方有三个:
1. 初始化解码器
音频不需要surface,直接传null
codec.configure(format, null , null, 0)
2. 获取参数不一样
音频播放需要获取采样率,通道数,采样位数等
3. 需要初始化一个音频渲染器:AudioTrack
由于解码出来的数据是PCM数据,所以直接使用AudioTrack播放即可。在initRender() 中对其进行初始化。
- 根据通道数量配置单声道和双声道
- 根据采样率、通道数、采样位数计算获取最小缓冲区
AudioTrack.getMinBufferSize(mSampleRate, channel, mPCMEncodeBit)
- 创建AudioTrack,并启动
mAudioTrack = AudioTrack(
AudioManager.STREAM_MUSIC,//播放类型:音乐
mSampleRate, //采样率
channel, //通道
mPCMEncodeBit, //采样位数
minBufferSize, //缓冲区大小
AudioTrack.MODE_STREAM) //播放模式:数据流动态写入,另一种是一次性写入
mAudioTrack!!.play()
4. 手动渲染音频数据,实现播放
最后就是将解码出来的数据写入AudioTrack,实现播放。
有一点注意的点是,需要把解码数据由ByteBuffer类型转换为ShortBuffer,这时Short数据类型的长度要减半。
四、调用并播放
以上,基本实现了音视频的播放流程,如无意外,在页面上调用以上音视频解码器,就可以实现播放了。
简单看下页面和相关调用。
main_activity.xml
<?xml version="1.0" encoding="utf-8"?><android.support.constraint.ConstraintLayout
xmlns:android=“http://schemas.android.com/apk/res/android”
xmlns:tools=“http://schemas.android.com/tools”
xmlns:app=“http://schemas.android.com/apk/res-auto”
android:layout_width=“match_parent”
android:layout_height=“match_parent”
tools:context=“.MainActivity”>
</android.support.constraint.ConstraintLayout>
MainActivity.kt
class MainActivity : AppCompatActivity() {
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_main)
initPlayer()
}
private fun initPlayer() {
val path = Environment.getExternalStorageDirectory().absolutePath + “/mvtest.mp4”
//创建线程池
val threadPool = Executors.newFixedThreadPool(2)
//创建视频解码器
val videoDecoder = VideoDecoder(path, sfv, null)
threadPool.execute(videoDecoder)
//创建音频解码器
val audioDecoder = AudioDecoder(path)
threadPool.execute(audioDecoder)
//开启播放
videoDecoder.goOn()
audioDecoder.goOn()
}
}
至此,基本上实现音视频的解码和播放。但是如果你真正把代码跑起来的话,你会发现:视频和音频为什么不同步啊,视频就像倍速播放一样,一下就播完了,但是音频却很正常。
这就要引出下一个不可避免的问题了,那就是音视频同步。
五、音视频同步
同步信号来源
由于视频和音频是两个独立的任务在运行,视频和音频的解码速度也不一样,解码出来的数据也不一定马上就可以显示出来。
在第一篇文章的时候有说过,解码有两个重要的时间参数:PTS和DTS,分别用于表示渲染的时间和解码时间,这里就需要用到PTS。
播放器中一般存在三个时间,音频的时间,视频的时间,还有另外一个就是系统时间。这样可以用来实现同步的时间源就有三个:
-
视频时间戳
-
音频时间戳
-
外部时间戳
-
视频PTS
通常情况下,由于人类对声音比较敏感,并且视频解码的PTS通常不是连续,而音频的PTS是比较连续的,如果以视频为同步信号源的话,基本上声音都会出现异常,而画面的播放也会像倍速播放一样。
- 音频PTS
那么剩下的两个选择中,以音频的PTS作为同步源,让画面适配音频是比较不错的一种选择。
但是这里不采用,而是使用系统时间作为同步信号源。因为如果以音频PTS作为同步源的话,需要比较复杂的同步机制,音频和视频两者之间也有比较多的耦合。
- 系统时间
而系统时间作为统一信号源则非常适合,音视频彼此独立互不干扰,同时又可以保证基本一致。
实现音视频同步
要实现音视频之间的同步,这里需要考虑的有两个点:
1. 比对
在解码数据出来以后,检查PTS时间戳和当前系统流过的时间差距,快则延时,慢则直接播放
2. 矫正
在进入暂停或解码结束,重新恢复播放时,需要将系统流过的时间做一下矫正,将暂停的时间减去,恢复真正的流逝时间,即已播放时间。
重新看回BaseDecoder解码流程:
abstract class BaseDecoder(private val mFilePath: String): IDecoder {
//省略其他
…
/**
- 开始解码时间,用于音视频同步
*/
private var mStartTimeForSync = -1L
final override fun run() {
if (mState == DecodeState.STOP) {
mState = DecodeState.START
}
mStateListener?.decoderPrepare(this)
//【解码步骤:1. 初始化,并启动解码器】
if (!init()) return
Log.i(TAG, “开始解码”)
while (mIsRunning) {
if (mState != DecodeState.START &&
mState != DecodeState.DECODING &&
mState != DecodeState.SEEKING) {
Log.i(TAG, “进入等待:$mState”)
waitDecode()
// ---------【同步时间矫正】-------------
//恢复同步的起始时间,即去除等待流失的时间
mStartTimeForSync = System.currentTimeMillis() - getCurTimeStamp()
}
if (!mIsRunning ||
mState == DecodeState.STOP) {
mIsRunning = false
break
}
if (mStartTimeForSync == -1L) {
mStartTimeForSync = System.currentTimeMillis()
}
//如果数据没有解码完毕,将数据推入解码器解码
if (!mIsEOS) {
//【解码步骤:2. 见数据压入解码器输入缓冲】
mIsEOS = pushBufferToDecoder()
}
//【解码步骤:3. 将解码好的数据从缓冲区拉取出来】
val index = pullBufferFromDecoder()
if (index >= 0) {
// ---------【音视频同步】-------------
if (mState == DecodeState.DECODING) {
sleepRender()
}
//【解码步骤:4. 渲染】
render(mOutputBuffers!![index], mBufferInfo)
//【解码步骤:5. 释放输出缓冲】
mCodec!!.releaseOutputBuffer(index, true)
if (mState == DecodeState.START) {
mState = DecodeState.PAUSE
}
}
//【解码步骤:6. 判断解码是否完成】
if (mBufferInfo.flags == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
Log.i(TAG, “解码结束”)
mState = DecodeState.FINISH
mStateListener?.decoderFinish(this)
}
}
doneDecode()
release()
}
}
- 在不考虑暂停、恢复的情况下,什么时候进行时间同步呢?
答案是:数据解码出来以后,渲染之前。
解码器进入解码状态以后,来到【解码步骤:3. 将解码好的数据从缓冲区拉取出来】,这时如果数据是有效的,那么进入比对。
// ---------【音视频同步】-------------
final override fun run() {
//…
//【解码步骤:3. 将解码好的数据从缓冲区拉取出来】
val index = pullBufferFromDecoder()
if (index >= 0) {
// ---------【音视频同步】-------------
if (mState == DecodeState.DECODING) {
sleepRender()
}
//【解码步骤:4. 渲染】
render(mOutputBuffers!![index], mBufferInfo)
//【解码步骤:5. 释放输出缓冲】
mCodec!!.releaseOutputBuffer(index, true)
if (mState == DecodeState.START) {
mState = DecodeState.PAUSE
}
}
//…
}
private fun sleepRender() {
val passTime = System.currentTimeMillis() - mStartTimeForSync
val curTime = getCurTimeStamp()
if (curTime > passTime) {
Thread.sleep(curTime - passTime)
}
}
override fun getCurTimeStamp(): Long {
return mBufferInfo.presentationTimeUs / 1000
}
同步的原理如下:
进入解码前,获取当前系统时间,存放在mStartTimeForSync,一帧数据解码出来以后,计算当前系统时间和mStartTimeForSync的距离,也就是已经播放的时间,如果当前帧的PTS大于流失的时间,进入sleep,否则直接渲染。
- 考虑暂停情况下的时间矫正
在进入暂停以后,由于系统时间一直在走,而mStartTimeForSync并没有随着系统时间累加,所以当恢复播放以后,重新将mStartTimeForSync加上这段暂停的时间段。
最后
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此我收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点!不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
进入阿里一直到现在。**
深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此我收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
[外链图片转存中…(img-YsZKDMSq-1715796862958)]
[外链图片转存中…(img-IqRWt4MS-1715796862960)]
[外链图片转存中…(img-19o2bWOd-1715796862962)]
[外链图片转存中…(img-taTcGkJk-1715796862964)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点!不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!