2024年最全Android 音视频开发——录屏直播，后端面试项目

最新推荐文章于 2024-06-07 15:54:02 发布

2401_84557402

最新推荐文章于 2024-06-07 15:54:02 发布

阅读量264

点赞数 5

文章标签： android 面试学习

本文链接：https://blog.csdn.net/2401_84557402/article/details/138965186

版权

最后：学习总结——Android框架体系架构知识脑图（纯手绘xmind文档）

学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。

下方即为我手绘的Android框架体系架构知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的Android框架体系架构知识脑图原件（包括上方的面试解析xmind文档）

除此之外，前文所提及的Alibaba珍藏版 Android框架体系架构 手写文档以及一本 《大话数据结构》 书籍等等相关的学习笔记文档，也皆可分享给认可的朋友！

——感谢大家伙的认可支持，请注意：点赞+点赞+点赞！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Surface surface = mediaCodec.createInputSurface();

mediaProjection.createVirtualDisplay(TAG,width,height,1, DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC

,surface,null,null);

} catch (IOException e) {

e.printStackTrace();

}

start();

}

@Override

public void run() {

isLiving = true;

mediaCodec.start();

MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();

while (isLiving){

//若时间差大于 2 s，则通知编码器，生成 I 帧

if (System.currentTimeMillis() - timeStamp >= 2000){

// Bundle 通知 Dsp

Bundle msgBundle = new Bundle();

msgBundle.putInt(MediaCodec.PARAMETER_KEY_REQUEST_SYNC_FRAME,0);

mediaCodec.setParameters(msgBundle);

timeStamp = System.currentTimeMillis();

}

// 接下来就是 MediaCodec 常规操作，获取 Buffer 可用索引，这里不需要获取输出索引，内部已经操作了

int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,100_000);

if (outputBufferIndex >=0){

// 获取到了

ByteBuffer byteBuffer = mediaCodec.getOutputBuffer(outputBufferIndex);

byte[] outData = new byte[bufferInfo.size];

byteBuffer.get(outData);

}

Rtmp 数据包

经过上面两步，我们获得了编码好的 h264 数据，接下来封装 Rtmp 就比较头疼了（Ndk 的知识都忘得差不多了）

首先我们在项目的 cpp 文件中，把 Rtmpdump 的源代码导入，我们使用 rtmpdump 连接服务器，以及传输 Rtmp 数据，要知道目前手里的数据还是 h264 码流，是无法直接传输，需要封装成 Rtmp 数据包

使用第三方库 Rtmpdump 来实现推流到直播服务器，由于 Rtmpdump 的代码量不是很多，我们直接拷贝源代码到 Android 的 cpp 文件，如果需要用到 Ffmpeg 不能才用该种调用方式了，需要提前编译好 so 库文件

对 Rtmp 暂时不需要做太深刻的理解,因为很容易给自己绕进去,用 Rtmp 传输 h264 数据,那么 sps,pps ,以及关键帧怎么摆放,Rtmp 都已经规定好了,我们就需要使用 NDK 的方式,实现 rtmp 数据的填充

RtmpDump 的使用

连接服务器

RTMP_Init(RTMP *r) 初始化
RTMP_EnableWrite(RTMP *r) 配置开启数据写入
RTMP_Connect(RTMP *r, RTMPPacket *cp)
RTMP_ConnectStream(RTMP *r, int seekTime)

发送数据

RTMPPacket_Alloc(RTMPPacket *p, int nSize)
RTMP_SendPacket(RTMP *r, RTMPPacket *packet, int queue)
RTMPPacket_Free(RTMPPacket *p)

连接直播服务器

这一步中，需要预先准备直播推流地址，然后实现 native 方法

extern “C” JNIEXPORT jboolean JNICALL

Java_com_bailun_kai_rtmplivedemo_RtmpPack2Remote_connectLiveServer(JNIEnv *env, jobject thiz,

jstring url) {

// 首先 Java 的转成 C 的字符串，不然无法使用

const char *live_url = env->GetStringUTFChars(url,0);

int result;

do {

// 结构体对象分配内存

livePack = (LivePack *)(malloc(sizeof(LivePack)));

// 清空内存上的脏数据

memset(livePack,0,sizeof(LivePack));

// Rtmp 申请内存

livePack->rtmp = RTMP_Alloc();

RTMP_Init(livePack->rtmp);

// 设置 rtmp 初始化参数，比如超时时间、url

livePack->rtmp->Link.timeout = 10;

LOGI(“connect %s”, url);

if (!(result = RTMP_SetupURL(livePack->rtmp,(char *)live_url))){

break;

}

// 开启 Rtmp 写入

RTMP_EnableWrite(livePack->rtmp);

LOGI(“RTMP_Connect”);

if (!(result = RTMP_Connect(livePack->rtmp,0))){

break;

}

LOGI("RTMP_ConnectStream ");

if (!(result = RTMP_ConnectStream(livePack->rtmp, 0)))

break;

LOGI(“connect success”);

}while (0);

if (!result && livePack){

free(livePack);

livePack = nullptr;

}

env->ReleaseStringUTFChars(url,live_url);

return result;

}

发送数据到直播服务器

有意思的是，Rtmp 协议中不需要传递分隔符(h264 分隔符为 0 0 0 1),并且推流的第一个 Rtmp 包的内容为 sps、pps 等

// 发送 rtmp 数据到服务器

extern “C”

JNIEXPORT jboolean JNICALL

Java_com_bailun_kai_rtmplivedemo_RtmpPack2Remote_sendData2Server(JNIEnv *env, jobject thiz,

jbyteArray buffer, jint length,

jlong tms) {

int result;

// 拷贝数据

jbyte *bufferArray = env->GetByteArrayElements(buffer, 0);

result = sendDataInner(bufferArray,length,tms);

//释放内存

env->ReleaseByteArrayElements(buffer,bufferArray,0);

return result;

}

int sendDataInner(jbyte *array, jint length, jlong tms) {

int result = 0;

//处理 sps、pps

if (array[4] == 0x67){

// 读取 sps，pps 数据，保存到结构体中

readSpsPps(array,length,livePack);

return result;

}

//处理 I帧，其他帧

if(array[4] == 0x65){

RTMPPacket * spsPpsPacket = createRtmpSteramPack(livePack);

sendPack(spsPpsPacket);

}

RTMPPacket* rtmpPacket = createRtmpPack(array,length,tms,livePack);

result = sendPack(rtmpPacket);

return result;

}

int sendPack(RTMPPacket *pPacket) {

int result = RTMP_SendPacket(livePack->rtmp,pPacket,1);

RTMPPacket_Free(pPacket);

free(pPacket);

return result;

}

// 发送 sps ，pps 对应的 Rtmp 包

RTMPPacket *createRtmpSteramPack(LivePack *pack) {

// 创建 Rtmp 数据包，对应 RtmpDump 库的 RTMPPacket 结构体

int body_size = 16 + pack->sps_len + pack->pps_len;

RTMPPacket *rtmpPacket = static_cast<RTMPPacket *>(malloc(sizeof(RTMPPacket)));

RTMPPacket_Alloc(rtmpPacket,body_size);

int index = 0;

rtmpPacket->m_body[index++] = 0x17;

//AVC sequence header 设置为0x00

rtmpPacket->m_body[index++] = 0x00;

//CompositionTime

rtmpPacket->m_body[index++] = 0x00;

//AVC sequence header

rtmpPacket->m_body[index++] = 0x01;

// 原始操作

rtmpPacket->m_body[index++] = pack->sps[1]; //profile 如baseline、main、 high

rtmpPacket->m_body[index++] = pack->sps[2]; //profile_compatibility 兼容性

rtmpPacket->m_body[index++] = pack->sps[3]; //profile level

rtmpPacket->m_body[index++] = 0xFF;//已经给你规定好了

rtmpPacket->m_body[index++] = 0xE1; //reserved（111） + lengthSizeMinusOne（5位 sps 个数）总是0xe1

//高八位

rtmpPacket->m_body[index++] = (pack->sps_len >> 8) & 0xFF;

// 低八位

rtmpPacket->m_body[index++] = pack->sps_len & 0xff;

// 拷贝sps的内容

memcpy(&rtmpPacket->m_body[index], pack->sps, pack->sps_len);

index +=pack->sps_len;

// pps

rtmpPacket->m_body[index++] = 0x01; //pps number

//rtmp 协议

//pps length

rtmpPacket->m_body[index++] = (pack->pps_len >> 8) & 0xff;

rtmpPacket->m_body[index++] = pack->pps_len & 0xff;

// 拷贝pps内容

memcpy(&rtmpPacket->m_body[index], pack->pps, pack->pps_len);

//packaet

//视频类型

rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;

rtmpPacket->m_nBodySize = body_size;

// 视频 04

rtmpPacket->m_nChannel = 0x04;

rtmpPacket->m_nTimeStamp = 0;

rtmpPacket->m_hasAbsTimestamp = 0;

rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;

rtmpPacket->m_nInfoField2 = livePack->rtmp->m_stream_id;

return rtmpPacket;

}

结尾

好了，今天的分享就到这里，如果你对在面试中遇到的问题，或者刚毕业及工作几年迷茫不知道该如何准备面试并突破现状提升自己，对于自己的未来还不够了解不知道给如何规划，可以来看看同行们都是如何突破现状，怎么学习的，来吸收他们的面试以及工作经验完善自己的之后的面试计划及职业规划。

这里放上一部分我工作以来以及参与过的大大小小的面试收集总结出来的一套进阶学习的视频及面试专题资料包，主要还是希望大家在如今大环境不好的情况下面试能够顺利一点，希望可以帮助到大家~

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

现状，怎么学习的，来吸收他们的面试以及工作经验完善自己的之后的面试计划及职业规划。

这里放上一部分我工作以来以及参与过的大大小小的面试收集总结出来的一套进阶学习的视频及面试专题资料包，主要还是希望大家在如今大环境不好的情况下面试能够顺利一点，希望可以帮助到大家~

[外链图片转存中…(img-8N8b7Qmo-1715846649771)]

[外链图片转存中…(img-rIRrhqQt-1715846649771)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

2401_84557402

关注

5
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
2024年最全Android 音视频开发——录屏直播，后端面试项目

学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的Android框架体系架构知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的Android框架体系架构知识脑图原件（包括上方的面试解析xmind文档）
复制链接

扫一扫