安卓直播推流专栏博客总结
0 . 资源和源码地址 :
- 资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;
- GitHub 源码地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;
2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :
-
【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )
-
【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )
3. 讲解 RTMP 数据包封装格式 :
4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;
-
【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )
-
【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )
-
【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )
5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :
-
【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )
-
【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )
-
【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )
6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :
-
【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )
-
【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )
-
【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )
7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )
8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :
-
【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )
-
【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )
9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;
10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :
-
【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )
-
【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )
11. 解析 AAC 音频格式 :
12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :
-
【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )
-
【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )
-
【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )
Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;
本篇博客会详细分析 , 音视频数据是如何打包成 RTMP 数据的 , 以及 RTMP 数据格式 ;
一、 RTMP 格式解析
RTMP 视频数据包格式与 flv 视频格式类似 , 使用二进制分析工具分析 flv 视频文件 , 相关工具都在博客资源中 ;
分析 flv 文件格式 :
① flv 视频文件构成 : flv 视频由一个文件头 Header 与若干标签 Tag 组成 ;
② 使用二进制查看器 , 打开 flv 视频文件 , 如下图所示 :
③ 使用 flvAnalyser 工具打开 flv 视频文件 :
二、 文件头 Header 分析
文件头 Header 分析 :
① flv 视频文件文件头 : 46 4C 56 ( 16 进制格式 ) , 这是 FLV 字母的 ASCII 码 ; 只要是 flv 格式的文件 , 前三个字节必定是这三个值 ;
② 文件版本 : 第 4 4 4 个字节时 FLV 格式的版本 , 这里是 01 ; ( 参考上图 )
三、 标签 Tag 分析
flv 标签数据结构 :
① 标签类型 ( tag type ) : 1 1 1 字节 , 索引区间 [ 0 ] [0] [0] , 0x08 代表音频 , 0x09 代表视频 , 0x12 代表脚本信息 ;
② 标签数据大小 ( data size ) : 3 3 3 字节 , 索引区间 [ 1 , 3 ] [1,3] [1,3] , 除了包头之外的数据大小 , 包头一般是 11 11 11 字节, 整个标签大小是该 标签数据大小 ( data size ) + 11 ;
③ 时间戳 ( time stamp ) : 3 3 3 字节 , 索引区间 [ 4 , 6 ] [4,6] [4,6] , 表示从开始播放到当前时刻的播放时间 , 单位毫秒 , 也就是当前标签的时间与第一个标签时间的差值 ;
④ 时间戳扩展位 ( time stamp ext ) : 1 1 1 字节 , 索引区间 [ 7 ] [7] [7] , 如果时间戳较大 , 3 3 3 位装不下 , 扩展一位 ;
⑤ 流编号 ( stream id ) : 3 3 3 字节 , 索引区间 [ 8 , 10 ] [8,10] [8,10] , 一般都是 0 ;
上述 11 11 11 字节时包头信息 , 下面就是实际的数据信息 , 有 标签数据大小 ( data size ) 个字节的数据 ;
⑥ 数据区 ( data ) : 标签数据大小 字节 , 索引区间 [ 9 , 标 签 数 据 大 小 ] [9, 标签数据大小] [9,标签数据大小] , 标签数据大小 ( data size ) 个字节的数据 ;
视频标签 与 音频标签 : 在 flvAnalyser 中可以清晰的看到文件头 Header 与 标签 Tag 的结构 , 其中 红色的框表示 视频数据标签 , 绿色的框表示 音频数据标签 ;
四、 视频标签 Tag 数据分析
1 . 打开视频标签数据 : 在 flvAnalyser 工具中 , 双击 1 号标签 , 该标签是 h264 视频标签 , 弹出如下对话框 , 开始分析该视频标签中的数据 ;
2 . 视频标签数据详情 :
0x00000182 : 09 00 00 2E 00 00 00 00
0x0000018a : 00 00 00 17 00 00 00 00
0x00000192 : 01 64 00 32 FF E1 00 19
0x0000019a : 67 64 00 32 AC D9 80 78
0x000001a2 : 02 27 E5 84 00 00 03 00
0x000001aa : 04 00 00 1F 40 3C 60 C6
0x000001b2 : 68 01 00 05 68 E9 7B 2C
0x000001ba : 8B 00 00 00 39
3 . flv 视频标签数据分析 : 以下所有的数据都是十六进制数据 , 这里省略 0x 前缀 ;
① 标签类型 ( tag type ) : 1 1 1 字节 , 索引区间 [ 0 ] [0] [0] , 此处是 09 表示音频数据
② 标签数据大小 ( data size ) : 3 3 3 字节 , 索引区间 [ 1 , 3 ] [1,3] [1,3] , 00 00 2E , 46 字节 , 视频数据有 46 字节 , 该标签的总数据是 46 + 11 = 57 字节 ;
③ 时间戳 ( time stamp ) : 3 3 3 字节 , 索引区间 [ 4 , 6 ] [4,6] [4,6] , 00 00 00 , 当前时间戳是 0 , 这是第 1 个标签 , 与其本身差值自然是 0 ;
④ 时间戳扩展位 ( time stamp ext ) : 1 1 1 字节 , 索引区间 [ 7 ] [7] [7] , 00 , 该位也是 0 ;
⑤ 流编号 ( stream id ) : 3 3 3 字节 , 索引区间 [ 8 , 10 ] [8,10] [8,10] , 00 00 00 , 这个值一般都是 0 ;
上述 11 11 11 字节时包头信息 , 下面就是实际的数据信息 , 有 标签数据大小 ( data size ) 个字节的数据 ;
⑥ 数据区 ( data ) : 标签数据大小 字节 , 索引区间 [ 9 , 标 签 数 据 大 小 ] [9, 标签数据大小] [9,标签数据大小] , 后面有 46 字节的视频数据 ;
下面开始分析这 46 字节的视频数据 ;