总结
最后为了帮助大家深刻理解Android相关知识点的原理以及面试相关知识,这里放上相关的我搜集整理的14套腾讯、字节跳动、阿里、百度等2021面试真题解析,我把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包知识脉络 + 诸多细节。
网上学习 Android的资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
-
循环读取音视频包:
srs_rtmp_read_packet(rtmp, &type, ×tamp, &data, &size)
; -
解析音频包:
-
获取编码类型:
srs_utils_flv_audio_sound_format
; -
获取音频采样率:
srs_utils_flv_audio_sound_rate
; -
获取采样位深:
srs_utils_flv_audio_sound_size
; -
获取声道数:
srs_utils_flv_audio_sound_type
; -
获取音频包类型:
srs_utils_flv_audio_aac_packet_type
; -
解析视频包:
-
获取编码类型:
srs_utils_flv_video_codec_id
; -
是否关键帧:
srs_utils_flv_video_frame_type
; -
获取视频包类型:
srs_utils_flv_video_avc_packet_type
; -
解析metadata类型;
-
销毁srs_rtmp_t对象:
srs_rtmp_destroy
;
这里有个小技巧,我们在拉流线程中,循环调用srs_rtmp_read_packet
方法,可以通过srs_rtmp_set_timeout
设置超时时间,但是如果超时时间设置的太短,会导致频繁的唤起线程,如果设置超时时间太长,我们在停止时,必须等待超时结束才会能真正结束。这里我们可以使用poll模型,将rtmp的tcp socket放入poll中,再放入一个管道fd,在需要停止时向管道写入一个指令,唤醒poll,直接停止rtmp拉流线程。
5. 主要数据结构
5.1 package结构:
typedef struct OARPacket {
int size;//包大小
PktType_e type;//包类型
int64_t dts;//解码时间戳
int64_t pts;//显示时间戳
int isKeyframe;//是否关键帧
struct OARPacket *next;//下一个包地址
uint8_t data[0];//包数据内容
}OARPacket;
5.2 package队列:
typedef struct oar_packet_queue {
PktType_e media_type;//类型
pthread_mutex_t *mutex;//线程锁
pthread_cond_t *cond;//条件变量
OARPacket *cachedPackets;//队列首地址
OARPacket *lastPacket;//队列最后一个元素
int count;//数量
int total_bytes;//总字节数
uint64_t max_duration;//最大时长
void (*full_cb)(void *);//队列满回调
void (*empty_cb)(void *);//队列为空回调
void *cb_data;
} oar_packet_queue;
5.3 Frame类型
typedef struct OARFrame {
int size;//帧大小
PktType_e type;//帧类型
int64_t dts;//解码时间戳
int64_t pts;//显示时间戳
int format;//格式(用于视频)
int width;//宽(用于视频)
int height;//高(用于视频)
int64_t pkt_pos;
int sample_rate;//采样率(用于音频)
struct OARFrame *next;
uint8_t data[0];
}OARFrame;
5.4 Frame队列
typedef struct oar_frame_queue {
pthread_mutex_t *mutex;
pthread_cond_t *cond;
OARFrame *cachedFrames;
OARFrame *lastFrame;
int count;//帧数量
unsigned int size;
} oar_frame_queue;
6. 解码线程
我们的rtmp流拉取、解码、渲染、音频输出都在C层实现。在C层,Android 21之后系统提供了AMediaCodec接口,我们直接find_library(media-ndk mediandk)
,并引入<media/NdkMediaCodec.h>
头文件即可。对于Android 21之前版本,可以在C层调用Java层的MediaCodec。下面分别介绍两种实现:
6.1 Java层代理解码
Java层MediaCodec解码使用步骤:
-
创建解码器:
codec = MediaCodec.createDecoderByType(codecName);
-
配置解码器格式:
codec.configure(format, null, null, 0);
-
启动解码器:
codec.start()
-
获取解码输入缓存ID:
dequeueInputBuffer
-
获取解码输入缓存:
getInputBuffer
-
获取解码输出缓存:
dequeueOutputBufferIndex
-
释放输出缓存:
releaseOutPutBuffer
-
停止解码器:
codec.stop();
Jni层封装对应的调用接口即可。
6.2 C层解码器使用
C层接口介绍:
-
创建Format:
AMediaFormat_new
; -
创建解码器:
AMediaCodec_createDecoderByType
; -
配置解码参数:
AMediaCodec_configure
; -
启动解码器:
AMediaCodec_start
; -
输入音视频包:
-
获取输入buffer序列:
AMediaCodec_dequeueInputBuffer
-
获取输入buffer:
AMediaCodec_getInputBuffer
-
拷贝数据:
memcpy
-
输入buffer放入解码器:
AMediaCodec_queueInputBuffer
-
获取解码后帧:
-
获取输出buffer序列:
AMediaCodec_dequeueOutputBuffer
-
获取输出buffer:
AMediaCodec_getOutputBuffer
我们发现不管是Java层还是C层的接口都是提供了类似的思路,其实他们最终调用的还是系统的解码框架。
这里我们可以根据系统版本来觉得使用Java层接口和C层接口,我们的oarplayer,主要的代码都是在C层实现,所以我们也有限使用C层接口。
7. 音频输出线程
音频输出我们使用opensl实现,之前文章介绍过Android音频架构,其实也可以使用AAudio或者Oboe。这里再简单介绍下opensl es的使用。
-
创建引擎:
slCreateEngine(&engineObject, 0, NULL, 0, NULL, NULL);
-
实现引擎:
(*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE);
-
获取接口:
(*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine);
-
创建输出混流器:
(*engineEngine)->CreateOutputMix(engineEngine, &outputMixObject, 0, NULL, NULL);
; -
实现混流器:
(*outputMixObject)->Realize(outputMixObject, SL_BOOLEAN_FALSE);
-
配置音频源:
SLDataLocator_AndroidSimpleBufferQueue loc_bufq = {SL_DATALOCATOR_ANDROIDSIMPLEBUFFERQUEUE, 2};
-
配置Format:
SLDataFormat_PCM format_pcm = {SL_DATAFORMAT_PCM, channel, SL_SAMPLINGRATE_44_1,SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16,SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN};
-
创建播放器:
(*engineEngine)->CreateAudioPlayer(engineEngine,&bqPlayerObject, &audioSrc, &audioSnk,2, ids, req);
-
实现播放器:
(*bqPlayerObject)->Realize(bqPlayerObject, SL_BOOLEAN_FALSE);
-
获取播放接口:
(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_PLAY, &bqPlayerPlay);
-
获取缓冲区接口:
(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_ANDROIDSIMPLEBUFFERQUEUE,&bqPlayerBufferQueue);
-
注册缓存回调:
(*bqPlayerBufferQueue)->RegisterCallback(bqPlayerBufferQueue, bqPlayerCallback, oar);
-
获取音量调节器:
(*bqPlayerObject)->GetInterface(bqPlayerObject, SL_IID_VOLUME, &bqPlayerVolume);
-
缓存回调中不断的从音频帧队列读取数据,并写入缓存队列:
(*bqPlayerBufferQueue)->Enqueue(bqPlayerBufferQueue, ctx->buffer,(SLuint32)ctx->frame_size);
上面就是音频播放的opensl es接口使用介绍。
8. 渲染线程
相比较于音频播放,视频渲染可能更复杂一些,除了opengl引擎创建,opengl线程创建,oarplayer使用的是基于音频的同步方式,所以在视频渲染时还需要考虑音视频同步问题。
8.1 OpenGL引擎创建
-
生成buffer:
glGenBuffers
-
绑定buffer:
glBindBuffer(GL_ARRAY_BUFFER, model->vbos[0])
-
设置清屏色:
glClearColor
-
创建纹理对象:
texture2D
-
创建着色器对象:
glCreateShader
-
设置着色器源码:
glShaderSource
-
编译着色器源码:
glCompileShader
-
附着着色器:
glAttachShader
-
连接着色器:
glLinkProgram
opengl与硬件交互还需要EGL环境,下面展示EGL初始化流程代码:
static void init_egl(oarplayer * oar){
oar_video_render_context *ctx = oar->video_render_ctx;
const EGLint attribs[] = {EGL_SURFACE_TYPE, EGL_WINDOW_BIT, EGL_RENDERABLE_TYPE,
EGL_OPENGL_ES2_BIT, EGL_BLUE_SIZE, 8, EGL_GREEN_SIZE, 8, EGL_RED_SIZE,
8, EGL_ALPHA_SIZE, 8, EGL_DEPTH_SIZE, 0, EGL_STENCIL_SIZE, 0,
EGL_NONE};
EGLint numConfigs;
ctx->display = eglGetDisplay(EGL_DEFAULT_DISPLAY);
EGLint majorVersion, minorVersion;
eglInitialize(ctx->display, &majorVersion, &minorVersion);
eglChooseConfig(ctx->display, attribs, &ctx->config, 1, &numConfigs);
ctx->surface = eglCreateWindowSurface(ctx->display, ctx->config, ctx->window, NULL);
EGLint attrs[] = {EGL_CONTEXT_CLIENT_VERSION, 2, EGL_NONE};
ctx->context = eglCreateContext(ctx->display, ctx->config, NULL, attrs);
EGLint err = eglGetError();
if (err != EGL_SUCCESS) {
LOGE(“egl error”);
}
if (eglMakeCurrent(ctx->display, ctx->surface, ctx->surface, ctx->context) == EGL_FALSE) {
LOGE(“------EGL-FALSE”);
}
eglQuerySurface(ctx->display, ctx->surface, EGL_WIDTH, &ctx->width);
eglQuerySurface(ctx->display, ctx->surface, EGL_HEIGHT, &ctx->height);
initTexture(oar);
oar_java_class * jc = oar->jc;
JNIEnv * jniEnv = oar->video_render_ctx->jniEnv;
jobject surface_texture = (*jniEnv)->CallStaticObjectMethod(jniEnv, jc->SurfaceTextureBridge, jc->texture_getSurface, ctx->texture[3]);
ctx->texture_window = ANativeWindow_fromSurface(jniEnv, surface_texture);
}
8.2 音视频同步
常见的音视频同步有三种:
-
基于视频同步;
-
基于音频同步;
-
基于第三方时间戳同步。
尾声
开发是需要一定的基础的,我是08年开始进入Android这行的,在这期间经历了Android的鼎盛时期,和所谓的Android”凉了“。中间当然也有着,不可说的心酸,看着身边朋友,同事一个个转前端,换行业,其实当时我的心也有过犹豫,但是我还是坚持下来了,这次的疫情就是一个好的机会,大浪淘沙,优胜劣汰。再等等,说不定下一个黄金浪潮就被你等到了。
- 330页 PDF Android核心笔记
- 几十套阿里 、字节跳动、腾讯、华为、美团等公司2020年的面试题
- PDF和思维脑图,包含知识脉络 + 诸多细节
- Android进阶系统学习视频
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
转存中…(img-udlDnPtE-1715238968772)]
[外链图片转存中…(img-mLieCZmd-1715238968773)]
- PDF和思维脑图,包含知识脉络 + 诸多细节
[外链图片转存中…(img-3k8Pmhuk-1715238968773)]
- Android进阶系统学习视频
[外链图片转存中…(img-KPWRpfN9-1715238968774)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!