【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

最新推荐文章于 2024-08-13 15:50:25 发布
最新推荐文章于 2024-08-13 15:50:25 发布
阅读量1.4k 收藏 2
点赞数 2
分类专栏： Android RTMP 文章标签： Android rtmp RTMPPacket H.264 RTMPDump
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shulianghan/article/details/106739259
版权

文章目录





安卓直播推流专栏博客总结


Android RTMP 直播推流技术专栏 :


0 . 资源和源码地址 :


1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

3. 讲解 RTMP 数据包封装格式 :

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

11. 解析 AAC 音频格式 :

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :





Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;


Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;


本篇博客中介绍如下内容 , Java 层将 Camera 采集的 NV21 格式的数据传入 JNI 层 , 在 JNI 中使用 x264 编码器将 NV21 图像数据编码为 H.264 视频数据 ;


本篇博客中主要封装 H.264 视频帧数据 , 将 帧类型 , 数据包类型 , 合成时间 , 数据长度 , 真实的 H.264 视频帧数据 , 封装到 RTMP 包中 ;





一、 x264 编码后的 H.264 数据帧


1 . x264 编码操作 : 调用 x264 库的 x264_encoder_encode 方法 , 将图像数据编码成 H.264 数据帧后 ;


① 编码后的数据 : 编码后的 H.264 数据保存在 pp_nal[i].p_payload 中 ;

② 编码后的数据长度 : 编码的 H.264 数据长度为 pp_nal[i].i_payload ;



2 . 数据间隔 :


① 数据间隔分类 : pp_nal[i].p_payload 数据时编码后的数据, 前四位默认是 00 00 00 01 , 或 00 00 01 ;

② 数据间隔处理 : 这个数据间隔在封装 RTMPPacket 数据包时 , 是不需要的 , 这些数据需要剔除 ;

③ 剔除数据间隔方法 : 首先计算数据时 , 要将数据大小 pp_nal[i].i_payload 减去间隔长度 , 另外数据取值时 , 需要越过 3 / 4 位数据间隔再取值 ;

// 4 字节分隔符是 x264 编码后生成的 H.264 数据中的数据, 这里需要剔除该数据
spsLen = pp_nal[i].i_payload - 4;
// 拷贝 H.264 数据时, 需要越过 4 字节 间隔数据
memcpy(sps, pp_nal[i].p_payload + 4, spsLen);




二、 RTMP 协议中 关键帧 / 非关键帧 数据格式 说明


1 . RTMP 协议中 H.264 数据帧格式 :


① 帧类型 : 1 字节, 关键帧 17, 非关键帧 27 ;

② 包类型 : 1 字节, 1 表示数据帧 ( 关键帧 / 非关键帧 ), 0 表示 AVC 序列头数据 ;

③ 合成时间 : 3 字节, 一般情况下设置 00 00 00 ;

④ 数据长度 : 4 字节, 即真实的数据帧画面的数据大小 ;



2 . 计算出数据帧的个数 : 上述 帧类型 , 包类型 , 合成时间 , 数据长度 , 总共有 9 字节 , 再加上实际的 H.264 数据帧长度 , 即最终打包的 RTMPPacket 数据帧大小 ;

int rtmpPackagesize = 9 + payload;




三、 判定 H.264 帧数据分隔符


1 . 不同数据帧的分隔符描述 :


① AVC 序列头 : 如果是 SPS PPS 数据帧 , 可以判定分隔符就是 00 00 00 01 四字节 ;

② H.264 视频帧 : 对于视频数据帧 , 不确定当前的 H.264 数据的分隔符是 00 00 00 01 还是 00 00 01 , 需要开发者进行判定 ;



2 . 判定方法 : 根据 第 2 位 的值判定 ;


① 四位分隔符判定 : 如果 第 2 位 值为 01, 说明分隔符是 00 00 01 ;

② 三位分隔符判定 : 如果 第 2 位 值为 00, 说明分隔符是 00 00 00 01 ;



3 . 分割符处理方法 :


① 数据大小处理 : 数据大小计算时 , 减去分隔符长度 , 3 或 4 ;

② 数据指针处理 : 数据取出时 , 跳过你分隔符数据 ;



4 . 分隔符处理代码 :

    // 判定分隔符是 00 00 00 01 还是 00 00 01
    // 根据 第 2 位 的值判定
    // 如果 第 2 位 值为 01, 说明分隔符是 00 00 01
    // 如果 第 2 位 值为 00, 说明分隔符是 00 00 00 01
    if (p_payload[2] == 0x00){
        // 识别出分隔符是 00 00 00 01
        // 要将 x264 编码出的数据个数减去 4, 只统计实际的数据帧个数
        payload -= 4;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 00 01 数据
        p_payload += 4;
    } else if(p_payload[2] == 0x01){
        // 识别出分隔符是 00 00 01
        // 要将 x264 编码出的数据个数减去 3, 只统计实际的数据帧个数
        payload -= 3;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 01 数据
        p_payload += 3;
    }




四、 初始化 RTMPPacket


调用 RTMPPacket_Alloc 方法 , 为 RTMP 数据包分配内存 , 之后调用 RTMPPacket_Reset 方法重置 RTMP 数据包 ;

    // 为 RTMP 数据包分配内存
    RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);
    // 重置 RTMP 数据包
    RTMPPacket_Reset(rtmpPacket);




五、 设置包头数据


包头数据设置 :


① 帧类型设置 : 如果是关键帧 , 设置 17 , 如果是非关键帧 , 设置 27 ; 这里需要判断该 H.264 视频帧是关键帧还是非关键帧 ;

② 包类型设置 : 01 是数据帧, 00 是 AVC 序列头封装 SPS PPS 数据 ;

③ 合成时间戳 : 默认设置 00 00 00 ;

④ 设置数据长度 : 位运算计算 4 字节中每一位的值 , 然后给四个字节数据赋值 ;

    // 设置帧类型, 非关键帧类型 27, 关键帧类型 17
    rtmpPacket->m_body[0] = 0x27;
    if (type == NAL_SLICE_IDR) {
        rtmpPacket->m_body[0] = 0x17;
    }

    // 设置包类型, 01 是数据帧, 00 是 AVC 序列头封装 SPS PPS 数据
    rtmpPacket->m_body[1] = 0x01;
    // 合成时间戳, AVC 数据直接赋值 00 00 00
    rtmpPacket->m_body[2] = 0x00;
    rtmpPacket->m_body[3] = 0x00;
    rtmpPacket->m_body[4] = 0x00;

    // 数据长度, 需要使用 4 位表示
    rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;
    rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;
    rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;
    rtmpPacket->m_body[8] = (payload) & 0xFF;




六、 设置 H.264 数据帧数据


将 H.264 数据帧数据拷贝到 rtmpPacket->m_body[9] 对应的地址中 , 前面存放了 9 字节的包头数据 , 这里直接从索引 9 位置开始存放 H.264 视频帧数据 ;

    // H.264 数据帧数据
    memcpy(&rtmpPacket->m_body[9], p_payload, payload);




七、 设置其它数据


设置 RTMP 包类型 , RTMP 包长度 , RTMP 通道 , 时间戳 等信息 ;

    // 设置 RTMP 包类型, 视频类型数据
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    // 设置 RTMP 包长度
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 分配 RTMP 通道, 随意分配
    rtmpPacket->m_nChannel = 10;
    // 设置绝对时间, 对于 SPS PPS 赋值 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 设置头类型, 随意设置一个
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;




八、 RTMPDump 封装视频帧数据代码示例


/**
 * 封装视频帧 , 关键帧 和 非关键帧
 * @param type  视频帧类型
 * @param payload   视频帧大小
 * @param p_payload 视频帧数据
 */
void VedioChannel::sendFrameToRtmpServer(int type, int payload, uint8_t *p_payload) {
    // 判定分隔符是 00 00 00 01 还是 00 00 01
    // 根据 第 2 位 的值判定
    // 如果 第 2 位 值为 01, 说明分隔符是 00 00 01
    // 如果 第 2 位 值为 00, 说明分隔符是 00 00 00 01
    if (p_payload[2] == 0x00){
        // 识别出分隔符是 00 00 00 01
        // 要将 x264 编码出的数据个数减去 4, 只统计实际的数据帧个数
        payload -= 4;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 00 01 数据
        p_payload += 4;
    } else if(p_payload[2] == 0x01){
        // 识别出分隔符是 00 00 01
        // 要将 x264 编码出的数据个数减去 3, 只统计实际的数据帧个数
        payload -= 3;
        // 从 x264 编码后的数据向外拿数据时, 越过开始的 00 00 01 数据
        p_payload += 3;
    }

    // 创建 RTMP 数据包
    RTMPPacket *rtmpPacket = new RTMPPacket;

    /*
        计算 RTMP 数据包大小

        帧类型 : 1 字节, 关键帧 17, 非关键帧 27
        包类型 : 1 字节, 1 表示数据帧 ( 关键帧 / 非关键帧 ), 0 表示 AVC 序列头
        合成时间 : 3 字节, 设置 00 00 00
        数据长度 : 4 字节, 赋值 payload 代表的数据长度

     */
    int rtmpPackagesize = 9 + payload;

    // 为 RTMP 数据包分配内存
    RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);
    // 重置 RTMP 数据包
    RTMPPacket_Reset(rtmpPacket);

    // 设置帧类型, 非关键帧类型 27, 关键帧类型 17
    rtmpPacket->m_body[0] = 0x27;
    if (type == NAL_SLICE_IDR) {
        rtmpPacket->m_body[0] = 0x17;
    }

    // 设置包类型, 01 是数据帧, 00 是 AVC 序列头封装 SPS PPS 数据
    rtmpPacket->m_body[1] = 0x01;
    // 合成时间戳, AVC 数据直接赋值 00 00 00
    rtmpPacket->m_body[2] = 0x00;
    rtmpPacket->m_body[3] = 0x00;
    rtmpPacket->m_body[4] = 0x00;

    // 数据长度, 需要使用 4 位表示
    rtmpPacket->m_body[5] = (payload >> 24) & 0xFF;
    rtmpPacket->m_body[6] = (payload >> 16) & 0xFF;
    rtmpPacket->m_body[7] = (payload >> 8) & 0xFF;
    rtmpPacket->m_body[8] = (payload) & 0xFF;

    // H.264 数据帧数据
    memcpy(&rtmpPacket->m_body[9], p_payload, payload);

    // 设置 RTMP 包类型, 视频类型数据
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    // 设置 RTMP 包长度
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 分配 RTMP 通道, 随意分配
    rtmpPacket->m_nChannel = 10;
    // 设置绝对时间, 对于 SPS PPS 赋值 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 设置头类型, 随意设置一个
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_MEDIUM;

    // 调用回调接口, 将该封装好的 RTMPPacket 数据包放入 native-lib 类中的 线程安全队列中
    // 这是个 RTMPPacketPackUpCallBack 类型的函数指针
    rtmpPacketPackUpCallBack(rtmpPacket);
}
韩曙亮
关注
专栏目录
Android摄像头经x264编码RTMP封装推送到服务器源码
05-04
Android下摄像头视频采集经过x264编码后，再进行rtmp打包封装并推送到服务器上,含源码。视频流可以在VLC和Android app上播放；更多可关注：http://blog.csdn.net/yqw2007/article/details/43273259
【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
06-13 1757
一、 基本封装数据格式说明、 二、 封装 SPS PPS 数据总体说明、 三、 封装头数据、 四、 封装 SPS 数据、 五、 封装 PPS 数据、 六、 设置 RTMP 数据包其它参数、 七、 SPS PPS 数据封装代码示例
【流媒体】RTMP协议的数据格式
最新发布
weixin_42877471的博客
08-13 752
在RTMP协议中，定义的数据格式称为消息（Message），消息是网络传输的数据载体，其中会携带RTMP协议命令、用户控制命令和传输的数据等等，是client和server之间进行交流通信的核心 RTMP消息分为2个部分：RTMP Message Header和RTMP Message Payload
Android使用rtmpDump
12-04
Android通过rtmpDump工程编译出来的库，实现native接口，最终实现Android rtmp协议支持的实现。
RTMP Packet构建
nicolelili1的专栏
12-16 689
/** * 发送h264 SPS与PPS参数集 */ void add_264_sequence_header(unsigned char* pps,unsigned char* sps,int pps_len,int sps_len){ int body_size = 16 + sps_len + pps_len; //按照H264标准配置SPS和PPS，共使用了16字节 ...
LibRTMP源代码分析8：发送消息(Send RTMPPacket)
huangmindong的专栏
05-22 2680
在详细分析函数RTMP_SendPacket()之前，让我们来看看RTMPPacket结构体的定义： typedef struct RTMPPacket {         uint8_t   m_headerType; // ChunkMsgHeader类型(4种)         uint8_t   m_packetType; // Message type ID（1-
android端rtmpdump使用摄像头推流demo示例 亲测可用
03-10
7. **FFmpeg库**: 虽然示例未明确提到，但FFmpeg通常用于处理音视频编码、封装和传输，可能会与rtmpdump一起用于更复杂的推流需求。 8. **Android Studio项目结构**: 了解项目中的各个文件如gradlew、build.gradle...
rtmpdump-2.3.rar_rtmpdump-2.3_arm64
09-21
2. **数据块处理**：在连接建立并创建流后，rtmpdump会解析和处理数据块，这些数据块通常包含音频、视频帧或其他类型的数据，它们被封装在FLV（Flash Video）格式中。 3. **命令消息解析**：rtmpdump不仅要处理数据...
C++实验RTMP协议发送 H.264编码
03-16
在发送之前，需要将编码后的H.264和AAC数据按照RTMPPacket的格式封装。 9. **发送流程**：RtmpThread从DataBufferQueue中取出封装好的数据，通过librtmp库发送到服务器。发送过程中需要注意网络状态，处理重传和...
rtmpdump实现flv视频推流demo程序
02-28
在本文中，我们将深入探讨如何利用RTMPDump实现FLV视频的推流，以及相关的关键知识点。 首先，RTMP是一种由Adobe Systems开发的协议，广泛用于将音频、视频和其他数据实时传输到Flash播放器。它支持直播和点播服务...
从零开发一款Android RTMP播放器
鸿蒙开发知识记录
10-12 3185
1. 背景介绍 15年移动端直播应用火起来的时候，主要的直播协议是RTMP，多媒体服务以Adobe的AMS、wowza、Red5、crtmpserver、nginx rtmp module等，后面过长RTMP服务SRS开始流行。Android端播放器主要以开始以EXOPlayer播放HLS，但是HLS有延迟高的确定，随后大家主要使用开源的ijkplyer，ijkplayer通过ffmpeg进行拉流及解码，支持多种音视频编码，还有跨平台，API与系统播放器保持一致等特征，后续各大厂提供的直播SDK均有ijkp
rtmpdump实现rtmp视频拉流存储的demo程序
02-28
rtmpdump实现rtmp视频拉流存储的demo程序
AVPacket构建RtmpPacket
月月月的博客
12-07 864
1.在学会构建之前你需要了解avpacket存储的是什么类型的数据 2.rtmppackt需要的是什么类型的数据 avpacket存储的是h264数据startcode+nalu 需要将avpacket进行分离 分离代码如下 - (void)separation_avpacket_with_avpacket:(AVPacket *)av_packet{ memset(encode_pkt, 0, av_packet->size); memcpy(encode_pkt, ...
h264、AAC组装RTMPPacket
wangchao1412的博客
12-21 674
h264组包结构表如下 H.264数据 往RTMP包中填充的是H.264数据，但不是直接将x264编码出来的数据填充进去。 一段包含了N个图像的H.264裸数据，每个NAL之间由： 00 00 00 01 或者 00 00 01 这四个字节或三个字节应该去掉后才可以放入RTMP数据中 进行分割。在分割符之后的第一个字节，就是表示这个nal的类型。 0x67：sps 0...
音视频系列--rtmp直播推流学习(硬编)
夏的专栏
01-20 1137
上一篇介绍了怎么搭建流媒体服务器，这一篇打算利用这个流媒体服务器，实现rtmp音视频的推流服务。实现效果如下，右边是模拟器推流端，左边是利用vlc来测试推流情况。直播源是使用MediaProjection来实现，之前有学习怎么用它投屏。 rtmp介绍 下载地址 rtmp导入 #子文件cmakelist #关闭ssl 不支持rtmps rtmp 加密 传递一变量 进制 加密验证 set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -DNO_CRYPTO" ) file(GL
rtmp 音频发aac时候的关键帧和普通帧如何计算
weixin_34006468的博客
07-16 525
2019独角兽企业重金招聘Python工程师标准>>> ...
RTMP协议分析及H.264打包原理
qq1010319899的博客
01-13 756
转自:http://blog.csdn.net/caoshangpa/article/details/52872146 RTMP协议分析及H.264打包原理  RTMP是Real Time Messaging Protocol（实时消息传输协议）的首字母缩写。该协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数
rtmpdump代码简单分析
为了理想而奋斗
06-08 3289
第一步——握手（Hand Shake） 代码在 handshake.h文件中， 该文件中HandShake 函数是处理握手的。 第二 步-----建立连接NetConnection  在文件rtmp.cpp 中 RTMP_Connect()： 其内部调用了  RTMP_Connect0() 和  RTMP_Connect1()。 RTMP_Connect0() 主
android使用RTMP实现录屏直播推送音视频（已在享学公众号发表）
wozuihaole的博客
01-12 2890
目录 MediaCodec编码音频 MediaCodec编码视频 H264裸流格式分析 FLV封装格式分析 利用librtmp封包发送 一、MediaCodec编码音频 创建音频编码器，指定AAC格式，采样率44100，码率64_000，单声道； //创建编码器 MediaFormat mediaFormat = MediaFormat.createAudioFormat(MediaFormat.MIMETYPE_AUDIO_AAC,
RTMP块流协议详解：多媒体数据传输的关键
RTMP块流的核心在于其消息的分块处理，这种机制使得多个不同类型的数据（如音频、视频和交互数据）能够复用在同一传输层协议（如TCP）上进行传输。块流确保了跨流消息的时间戳顺序，但并不提供优先级控制，这需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值