// 颜色格式
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 400_000);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
// 设置触发关键帧的时间间隔为 2 s
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2);
// 创建编码器
try {
mediaCodec = MediaCodec.createEncoderByType(“video/avc”);
mediaCodec.configure(mediaFormat,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);
Surface surface = mediaCodec.createInputSurface();
mediaProjection.createVirtualDisplay(TAG,width,height,1, DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC
,surface,null,null);
} catch (IOException e) {
e.printStackTrace();
}
start();
}
@Override
public void run() {
isLiving = true;
mediaCodec.start();
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
while (isLiving){
//若时间差大于 2 s,则通知编码器,生成 I 帧
if (System.currentTimeMillis() - timeStamp >= 2000){
// Bundle 通知 Dsp
Bundle msgBundle = new Bundle();
msgBundle.putInt(MediaCodec.PARAMETER_KEY_REQUEST_SYNC_FRAME,0);
mediaCodec.setParameters(msgBundle);
timeStamp = System.currentTimeMillis();
}
// 接下来就是 MediaCodec 常规操作,获取 Buffer 可用索引,这里不需要获取输出索引,内部已经操作了
int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,100_000);
if (outputBufferIndex >=0){
// 获取到了
ByteBuffer byteBuffer = mediaCodec.getOutputBuffer(outputBufferIndex);
byte[] outData = new byte[bufferInfo.size];
byteBuffer.get(outData);
}
}
}
Rtmp 数据包
经过上面两步,我们获得了编码好的 h264 数据,接下来封装 Rtmp 就比较头疼了(Ndk 的知识都忘得差不多了)
首先我们在项目的 cpp 文件中,把 Rtmpdump 的源代码导入,我们使用 rtmpdump 连接服务器,以及传输 Rtmp 数据,要知道目前手里的数据还是 h264 码流,是无法直接传输,需要封装成 Rtmp 数据包
使用第三方库 Rtmpdump 来实现推流到直播服务器,由于 Rtmpdump 的代码量不是很多,我们直接拷贝源代码到 Android 的 cpp 文件,如果需要用到 Ffmpeg 不能才用该种调用方式了,需要提前编译好 so 库文件
对 Rtmp 暂时不需要做太深刻的理解,因为很容易给自己绕进去,用 Rtmp 传输 h264 数据,那么 sps,pps ,以及关键帧怎么摆放,Rtmp 都已经规定好了,我们就需要使用 NDK 的方式,实现 rtmp 数据的填充
RtmpDump 的使用
- 连接服务器
-
RTMP_Init(RTMP *r) 初始化
-
RTMP_EnableWrite(RTMP *r) 配置开启数据写入
-
RTMP_Connect(RTMP *r, RTMPPacket *cp)
-
RTMP_ConnectStream(RTMP *r, int seekTime)
- 发送数据
-
RTMPPacket_Alloc(RTMPPacket *p, int nSize)
-
RTMP_SendPacket(RTMP *r, RTMPPacket *packet, int queue)
-
RTMPPacket_Free(RTMPPacket *p)
连接直播服务器
这一步中,需要预先准备直播推流地址,然后实现 native 方法
extern “C” JNIEXPORT jboolean JNICALL
Java_com_bailun_kai_rtmplivedemo_RtmpPack2Remote_connectLiveServer(JNIEnv *env, jobject thiz,
jstring url) {
// 首先 Java 的转成 C 的字符串,不然无法使用
const char *live_url = env->GetStringUTFChars(url,0);
int result;
do {
// 结构体对象分配内存
livePack = (LivePack *)(malloc(sizeof(LivePack)));
// 清空内存上的脏数据
memset(livePack,0,sizeof(LivePack));
// Rtmp 申请内存
livePack->rtmp = RTMP_Alloc();
RTMP_Init(livePack->rtmp);
// 设置 rtmp 初始化参数,比如超时时间、url
livePack->rtmp->Link.timeout = 10;
LOGI(“connect %s”, url);
if (!(result = RTMP_SetupURL(livePack->rtmp,(char *)live_url))){
break;
}
// 开启 Rtmp 写入
RTMP_EnableWrite(livePack->rtmp);
LOGI(“RTMP_Connect”);
if (!(result = RTMP_Connect(livePack->rtmp,0))){
break;
}
LOGI("RTMP_ConnectStream ");
if (!(result = RTMP_ConnectStream(livePack->rtmp, 0)))
break;
LOGI(“connect success”);
}while (0);
if (!result && livePack){
free(livePack);
livePack = nullptr;
}
env->ReleaseStringUTFChars(url,live_url);
return result;
}
发送数据到直播服务器
有意思的是,Rtmp 协议中不需要传递分隔符(h264 分隔符为 0 0 0 1),并且推流的第一个 Rtmp 包的内容为 sps、pps 等
// 发送 rtmp 数据到服务器
extern “C”
JNIEXPORT jboolean JNICALL
Java_com_bailun_kai_rtmplivedemo_RtmpPack2Remote_sendData2Server(JNIEnv *env, jobject thiz,
jbyteArray buffer, jint length,
jlong tms) {
int result;
// 拷贝数据
jbyte *bufferArray = env->GetByteArrayElements(buffer, 0);
result = sendDataInner(bufferArray,length,tms);
//释放内存
env->ReleaseByteArrayElements(buffer,bufferArray,0);
return result;
}
int sendDataInner(jbyte *array, jint length, jlong tms) {
int result = 0;
//处理 sps、pps
if (array[4] == 0x67){
// 读取 sps,pps 数据,保存到结构体中
readSpsPps(array,length,livePack);
return result;
}
//处理 I帧,其他帧
if(array[4] == 0x65){
RTMPPacket * spsPpsPacket = createRtmpSteramPack(livePack);
sendPack(spsPpsPacket);
}
RTMPPacket* rtmpPacket = createRtmpPack(array,length,tms,livePack);
result = sendPack(rtmpPacket);
return result;
}
int sendPack(RTMPPacket *pPacket) {
int result = RTMP_SendPacket(livePack->rtmp,pPacket,1);
RTMPPacket_Free(pPacket);
free(pPacket);
return result;
}
// 发送 sps ,pps 对应的 Rtmp 包
RTMPPacket *createRtmpSteramPack(LivePack *pack) {
// 创建 Rtmp 数据包,对应 RtmpDump 库的 RTMPPacket 结构体
int body_size = 16 + pack->sps_len + pack->pps_len;
RTMPPacket *rtmpPacket = static_cast<RTMPPacket *>(malloc(sizeof(RTMPPacket)));
RTMPPacket_Alloc(rtmpPacket,body_size);
int index = 0;
rtmpPacket->m_body[index++] = 0x17;
//AVC sequence header 设置为0x00
rtmpPacket->m_body[index++] = 0x00;
//CompositionTime
rtmpPacket->m_body[index++] = 0x00;
rtmpPacket->m_body[index++] = 0x00;
rtmpPacket->m_body[index++] = 0x00;
//AVC sequence header
rtmpPacket->m_body[index++] = 0x01;
// 原始 操作
rtmpPacket->m_body[index++] = pack->sps[1]; //profile 如baseline、main、 high
rtmpPacket->m_body[index++] = pack->sps[2]; //profile_compatibility 兼容性
rtmpPacket->m_body[index++] = pack->sps[3]; //profile level
rtmpPacket->m_body[index++] = 0xFF;//已经给你规定好了
rtmpPacket->m_body[index++] = 0xE1; //reserved(111) + lengthSizeMinusOne(5位 sps 个数) 总是0xe1
//高八位
rtmpPacket->m_body[index++] = (pack->sps_len >> 8) & 0xFF;
// 低八位
rtmpPacket->m_body[index++] = pack->sps_len & 0xff;
// 拷贝sps的内容
memcpy(&rtmpPacket->m_body[index], pack->sps, pack->sps_len);
index +=pack->sps_len;
// pps
rtmpPacket->m_body[index++] = 0x01; //pps number
//rtmp 协议
//pps length
rtmpPacket->m_body[index++] = (pack->pps_len >> 8) & 0xff;
rtmpPacket->m_body[index++] = pack->pps_len & 0xff;
// 拷贝pps内容
memcpy(&rtmpPacket->m_body[index], pack->pps, pack->pps_len);
//packaet
//视频类型
rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
最后
其实Android开发的知识点就那么多,面试问来问去还是那么点东西。所以面试没有其他的诀窍,只看你对这些知识点准备的充分程度。so,出去面试时先看看自己复习到了哪个阶段就好。
下面分享的腾讯、头条、阿里、美团、字节跳动等公司2019-2021年的高频面试题全套解析,博主还把这些技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,下面只是以图片的形式给大家展示一部分。
知识不体系?这里还有整理出来的Android进阶学习的思维脑图,给大家参考一个方向。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
博主还把这些技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节,由于篇幅有限,下面只是以图片的形式给大家展示一部分。
[外链图片转存中…(img-ZFejZRzH-1714337718698)]
知识不体系?这里还有整理出来的Android进阶学习的思维脑图,给大家参考一个方向。
[外链图片转存中…(img-wqJXJ4QT-1714337718699)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!