安卓直播推流专栏博客总结
0 . 资源和源码地址 :
- 资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;
- GitHub 源码地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;
2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :
-
【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )
-
【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )
3. 讲解 RTMP 数据包封装格式 :
4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;
-
【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )
-
【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )
-
【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )
5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :
-
【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )
-
【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )
-
【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )
6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :
-
【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )
-
【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )
-
【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )
7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )
8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :
-
【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )
-
【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )
9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;
10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :
-
【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )
-
【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )
11. 解析 AAC 音频格式 :
12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :
-
【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )
-
【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )
-
【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )
Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;
Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;
本博客中实现将 NV21 图像顺时针旋转 90 度的算法 , 后置摄像头需要顺时针旋转 90 度, 前置摄像头与后置摄像头相反 , 需要逆时针旋转 90 度 ;
一、 后置摄像头顺时针旋转 90 度
1 . NV21 格式图像数据的排列 : 16 16 16 个 Y 灰度数据在前 , 然后 4 4 4 组 ( 8 8 8 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ;
[ y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 10 y 11 y 12 y 13 y 14 y 15 y 16 v 1 u 1 v 2 u 2 v 3 u 3 v 4 u 4 ] \begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ v1 & u1 & v2 & u2 \\\\ v3 & u3 & v4 & u4\\ \end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡y1y5y9y13v1v3y2y6y10y14u1u3y3y7y11y15v2v4y4y8y12y16u2u4⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤
2 . NV21 格式的图像的 YUV 值顺时针旋转 90 度后的 YUV 矩阵为 :
[ y 13 y 9 y 5 y 1 y 14 y 10 y 6 y 2 y 15 y 11 y 7 y 3 y 16 y 12 y 8 y 4 v 3 u 3 v 1 u 1 v 4 u 4 v 2 u 2 ] \begin{bmatrix} y13 & y9 & y5 & y1 \\\\ y14 & y10 & y6 & y2 \\\\ y15 & y11& y7& y3 \\\\ y16& y12& y8& y4 \\\\ v3 & u3 & v1 & u1 \\\\ v4 & u4 & v2 & u2\\ \end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡y13y14y15y16v3v4y9y10y11y12u3u4y5y6y7y8v1v2y1y2y3y4u1u2⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤
3 . 灰度值 Y 数据读取顺序 :
① 外层循环 : 逐行遍历, 从第一行遍历到最后一行, 从 0 到 mWidth - 1 ;
② 内存循环 : 遍历每一行时, 从底部遍历到顶部, 从 mHeight - 1 到 0 ;
for (int i = 0; i < mWidth; i++) {
// 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
for (int j = mHeight - 1; j >= 0; j--) {
// 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
}
}
4 . 饱和度 色彩值 UV 数据读取顺序 :
① 数据高度个数 : Y 数据的高度与图像高度相等 , UV 数据高度相当于 Y 数据高度的一半 ;
② UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据 ;
③ UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
- 按照行遍历 : 遍历 mWidth / 2 次
- 按照列遍历 : 遍历 mHeight / 2 次
④ 外层遍历 : 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次 ; 遍历行从 0 到 mWidth / 2 - 1 ;
⑤ 内层遍历 : UV 数据也需要倒着读 , 从 mHeight / 2 - 1 遍历到 0 ;
for (int i = 0; i < mWidth / 2; i ++) {
for (int j = UVByteHeight - 1; j >= 0; j--) {
// 读取数据时, 要从 YByteCount 之后的数据开始遍历
// 使用 mWidth 和 UVByteHeight 定位要遍历的位置
// 拷贝 V 色彩值数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
// 拷贝 U 饱和度数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
}
}
二、 前置摄像头顺时针旋转 90 度
1 . NV21 格式图像数据的排列 : 16 16 16 个 Y 灰度数据在前 , 然后 4 4 4 组 ( 8 8 8 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ;
[ y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 10 y 11 y 12 y 13 y 14 y 15 y 16 v 1 u 1 v 2 u 2 v 3 u 3 v 4 u 4 ] \begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ v1 & u1 & v2 & u2 \\\\ v3 & u3 & v4 & u4\\ \end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡y1y5y9y13v1v3y2y6y10y14u1u3y3y7y11y15v2v4y4y8y12y16u2u4⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤
2 . NV21 格式的图像的 YUV 值逆时针旋转 90 度后的 YUV 矩阵为 :
[ y 4 y 8 y 12 y 16 y 3 y 7 y 11 y 15 y 2 y 6 y 10 y 14 y 1 y 5 y 9 y 13 v 2 u 2 v 4 u 4 v 1 u 1 v 3 u 3 ] \begin{bmatrix} y4 & y8 & y12 & y16 \\\\ y3 & y7 & y11 & y15 \\\\ y2 & y6& y10& y14 \\\\ y1& y5& y9 & y13 \\\\ v2 & u2 & v4 & u4 \\\\ v1 & u1 & v3 & u3 \\ \end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡y4y3y2y1v2v1y8y7y6y5u2u1y12y11y10y9v4v3y16y15y14y13u4u3⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤
3 . 灰度值 Y 数据读取顺序 :
① 外层循环 : 逐行遍历, 从最后一行遍历到第一行, 从 mWidth - 1 到 0 ;
② 内存循环 : 遍历第 i 行时, 从顶部遍历到底部, 从 0 到 mHeight - 1
for (int i = mWidth - 1; i >= 0; i--) {
// 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
for (int j = 0; j < mHeight; j++) {
// 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
}
}
4 . 饱和度 色彩值 UV 数据读取顺序 :
① 数据高度个数 : Y 数据的高度与图像高度相等 , UV 数据高度相当于 Y 数据高度的一半 ;
② UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据 ;
③ UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
- 按照行遍历 : 遍历 mWidth / 2 次
- 按照列遍历 : 遍历 mHeight / 2 次
④ 外层遍历 : 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次 ; 遍历行从mWidth / 2 - 1 到 0 ;
⑤ 内层遍历 : UV 数据也需要倒着读 , 从 0 遍历到 mHeight / 2 - 1 ;
for (int i = mWidth / 2 - 1; i >= 0 ; i --) {
for (int j = 0; j < UVByteHeight; j++) {
// 读取数据时, 要从 YByteCount 之后的数据开始遍历
// 使用 mWidth 和 UVByteHeight 定位要遍历的位置
// 拷贝 V 色彩值数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
// 拷贝 U 饱和度数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
}
}
三、 NV21 格式图像旋转代码
/**
* 将 NV21 格式的图片数据顺时针旋转 90 度
* 后置摄像头顺时针旋转 90 度
* 前置摄像头逆时针旋转 90 度
* @param data
*/
private void nv21PictureDataClockwiseRotation90(byte[] data){
// Y 灰度数据的个数
int YByteCount = mWidth * mHeight;
// 色彩度 U, 饱和度 V 数据高度
int UVByteHeight = mHeight / 2;
// 色彩度 U, 饱和度 V 数据个数
int UVByteCount = YByteCount / 4;
// 数据处理索引值, 用于记录写入到 mNv21DataBuffer 中的元素个数
// 及下一个将要写入的元素的索引
int positionIndex = 0;
/*
后置摄像头处理
后置摄像头需要将图像顺时针旋转 90 度
*/
if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_BACK){
/*
读取 Y 灰度数据
顺时针旋转 90 度
外层循环 : 逐行遍历, 从第一行遍历到最后一行
内存循环 : 遍历每一行时, 从底部遍历到顶部
*/
for (int i = 0; i < mWidth; i++) {
// 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
for (int j = mHeight - 1; j >= 0; j--) {
// 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
}
}
/*
读取 UV 数据
Y 数据的高度与图像高度相等
UV 数据高度相当于 Y 数据高度的一半
UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列
UV 数据交替排列, 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据
UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
按照行遍历 : 遍历 mWidth / 2 次
按照列遍历 : 遍历 mHeight / 2 次
外层遍历 : 遍历行从 0 到 mWidth / 2
外层按照行遍历时, 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次
内层遍历时 : 遍历列, 从 mHeight / 2 - 1 遍历到 0
UV 数据也需要倒着读 , 从 mHeight / 2 - 1 遍历到 0
*/
for (int i = 0; i < mWidth / 2; i ++) {
for (int j = UVByteHeight - 1; j >= 0; j--) {
// 读取数据时, 要从 YByteCount 之后的数据开始遍历
// 使用 mWidth 和 UVByteHeight 定位要遍历的位置
// 拷贝 V 色彩值数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
// 拷贝 U 饱和度数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
}
}
}else if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_FRONT){
/*
前置摄像头处理
前置摄像头与后置摄像头相反, 后置摄像头顺时针旋转 90 度
前置摄像头需要将图像逆时针旋转 90 度
*/
/*
读取 Y 灰度数据
逆时针旋转 90 度
外层循环 : 逐行遍历, 从最后一行遍历到第一行, 从 mWidth - 1 到 0
内存循环 : 遍历第 i 行时, 从顶部遍历到底部, 从 0 到 mHeight - 1
*/
for (int i = mWidth - 1; i >= 0; i--) {
// 第 i 行, 从每一列的最后一个像素 ( 索引 mHeight - 1 ) 遍历到第一个像素 ( 索引 0 )
for (int j = 0; j < mHeight; j++) {
// 将读取到的 Y 灰度值存储到 mNv21DataBuffer 缓冲区中
mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];
}
}
/*
读取 UV 数据
Y 数据的高度与图像高度相等
UV 数据高度相当于 Y 数据高度的一半
UV 数据排列 : V 色彩值在前, U 饱和度在后, UV 数据交替排列
UV 数据交替排列, 一行 mWidth 中, 排布了 mWidth / 2 组 UV 数据
UV 数据组有 mWidth / 2 行, mHeight / 2 列, 因此遍历时, 有如下规则 :
按照行遍历 : 遍历 mWidth / 2 次
按照列遍历 : 遍历 mHeight / 2 次
外层遍历 : 遍历行从 mWidth / 2 - 1 到 0
外层按照行遍历时, 每隔 2 行, 遍历一次, 遍历 mWidth / 2 次
内层遍历时 : 遍历列, 从 0 遍历到 mHeight / 2 - 1
UV 数据也需要倒着读 , 从 0 遍历到 mHeight / 2 - 1
*/
for (int i = mWidth / 2 - 1; i >= 0 ; i --) {
for (int j = 0; j < UVByteHeight; j++) {
// 读取数据时, 要从 YByteCount 之后的数据开始遍历
// 使用 mWidth 和 UVByteHeight 定位要遍历的位置
// 拷贝 V 色彩值数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];
// 拷贝 U 饱和度数据
mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];
}
}
}
}