【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

最新推荐文章于 2024-06-26 23:27:07 发布
最新推荐文章于 2024-06-26 23:27:07 发布
阅读量2.4k 收藏 10
点赞数
分类专栏： Android RTMP 文章标签： Android rtmp x264 H.264 I420
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shulianghan/article/details/106713072
版权

文章目录





安卓直播推流专栏博客总结


Android RTMP 直播推流技术专栏 :


0 . 资源和源码地址 :


1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

3. 讲解 RTMP 数据包封装格式 :

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

11. 解析 AAC 音频格式 :

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :





Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;


Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;


本篇博客中在 NDK 层使用 x264 对 Camera 采集到的数据进行编码 , 将 NV21 格式的视频数据编码为 H.264 格式的数据 , 首先要设置 x264 编码器的参数 ;





一、 x264 编码器参数设置引入


1 . 图像数据转换 : Camera 获取的是 NV21 格式的图像数据, 先将 NV21 格式的图像数据转为 I420 格式的图像数据 , 再将 I420 格式的图像数据编码为 H.264 格式的视频数据 ;


2 . 需要使用 x264 开源库 : 上述图像格式转换中 , I420 图像编码为 H.264 视频就需要使用 x264 开源库 , 这是目前性能最好的开源库 ;


3 . x264 编码器参数设置 : 使用 x264 编码 H.264 视频之前 , 首先要创建 x264 编码器 , 然后设置该编码器参数 ;


4 . 头文件导入 : 使用 x264 编码器之前 , 首先导入头文件 ;

#include <x264.h>

5 . x264 编码器参数 x264_param_t 类型 : 是一个结构体类型 ;

typedef struct x264_param_t
{
	//...
}




二、 获取 x264 编码器参数


1 . 获取 x264 编码器参数步骤 :


① 声明 x264 编码器参数 : 在栈内存中声明 x264 编码器参数 , 之后对其进行赋值 ;

// 设置 x264 编码器参数
x264_param_t x264Param;

② 获取默认的编码器参数 : 调用 x264_param_default_preset 方法 , 可以获取 x264 编码器默认的参数 ;

x264_param_default_preset(&x264Param, "ultrafast", "zerolatency");


2 . 函数 x264_param_default_preset ( ) 解析 :


① 参数 x264_param_t * 设置 : x264_param_t 类型的 x264 编码器参数指针 , 即上面声明的 x264 编码器参数的地址 ;

② 参数 const char *preset 设置 : 设置编码速度 , 这里开发直播 , 需要尽快编码推流 , 这里设置最快的速度 ultrafast ;

static const char * const x264_preset_names[] = { "ultrafast", "superfast", "veryfast", "faster", "fast", "medium", "slow", "slower", "veryslow", "placebo", 0 };

③ 参数 const char *tune 设置 : 视频编码场景设置 , 这里选择 zerolatency 无延迟编码 , 同样要求最低延迟 ;

static const char * const x264_tune_names[] = { "film", "animation", "grain", "stillimage", "psnr", "ssim", "fastdecode", "zerolatency", 0 };

④ 函数原型 :

int x264_param_default_preset( x264_param_t *, const char *preset, const char *tune );

上述的最快编码速度 ultrafast , 和无延迟编码 zerolatency , 都要求编码速度要尽可能快 , 代价是牺牲了视频的质量 ;





三、 设置 x264 编码器编码规格


1 . 设置 x264 编码器编码规格 : 每个编码规格都有对应的性能指标要求 , 如下图的表格 , 设置的 32 编码规则表示其中的 3.2 级别的 H.264 参数性能 ;

// 编码规格设定, 32 对应的是 3.2 编码规格, 该规格下有指定的 码率, 帧率要求
x264Param.i_level_idc = 32;

2 . H.264 编码规格 :

在这里插入图片描述





四、 设置 x264 编码器编码图像数据格式


1 . 设置 x264 编码器编码图像数据格式 :


① 编码尺寸设置 : 将 Camera 支持的宽高尺寸 , 设置给该 x264 编码器参数的 i_width , i_height 字段 ;

② 可设置的输入图像格式 : 经过测试 , 只有 X264_CSP_I420 格式能顺利编码成 H.264 视频数据 ;

/* Colorspace type */
#define X264_CSP_MASK           0x00ff  /* */
#define X264_CSP_NONE           0x0000  /* Invalid mode     */
#define X264_CSP_I400           0x0001  /* monochrome 4:0:0 */
#define X264_CSP_I420           0x0002  /* yuv 4:2:0 planar */
#define X264_CSP_YV12           0x0003  /* yvu 4:2:0 planar */
#define X264_CSP_NV12           0x0004  /* yuv 4:2:0, with one y plane and one packed u+v */
#define X264_CSP_NV21           0x0005  /* yuv 4:2:0, with one y plane and one packed v+u */
#define X264_CSP_I422           0x0006  /* yuv 4:2:2 planar */
#define X264_CSP_YV16           0x0007  /* yvu 4:2:2 planar */
#define X264_CSP_NV16           0x0008  /* yuv 4:2:2, with one y plane and one packed u+v */
#define X264_CSP_YUYV           0x0009  /* yuyv 4:2:2 packed */
#define X264_CSP_UYVY           0x000a  /* uyvy 4:2:2 packed */
#define X264_CSP_V210           0x000b  /* 10-bit yuv 4:2:2 packed in 32 */
#define X264_CSP_I444           0x000c  /* yuv 4:4:4 planar */
#define X264_CSP_YV24           0x000d  /* yvu 4:4:4 planar */
#define X264_CSP_BGR            0x000e  /* packed bgr 24bits */
#define X264_CSP_BGRA           0x000f  /* packed bgr 32bits */
#define X264_CSP_RGB            0x0010  /* packed rgb 24bits */
#define X264_CSP_MAX            0x0011  /* end of list */
#define X264_CSP_VFLIP          0x1000  /* the csp is vertically flipped */
#define X264_CSP_HIGH_DEPTH     0x2000  /* the csp has a depth of 16 bits per pixel component */

2 . 设置 x264 编码器编码图像数据格式代码示例 :

// 设置输入到 x264 编码器的数据格式, 宽度, 高度等参数
x264Param.i_csp = X264_CSP_I420;
x264Param.i_width = mWidth;
x264Param.i_height = mHeight;




五、 设置 x264 编码器 码率相关参数


码率有三种模式 : X264_RC_CQP 恒定质量 , X264_RC_CRF 恒定码率 , X264_RC_ABR 平均码率 , 这里设置一个平均码率输出 ;

x264Param.rc.i_rc_method = X264_RC_ABR;
// 设置码率, 单位是 kbps
x264Param.rc.i_bitrate = bitrate / 1000;
// 设置最大码率, 单位 kbps, 该配置与 i_vbv_buffer_size 配套使用
x264Param.rc.i_vbv_max_bitrate = bitrate / 1000 * 1.2;
// 该配置与 i_vbv_max_bitrate 配置配套使用, 码率控制缓冲区大小
x264Param.rc.i_vbv_buffer_size = bitrate / 1000;




六、 设置 x264 编码器 帧率相关参数


设置 x264 编码器 帧率相关参数 : 设置帧率相关参数 , 帧率是个有理数 , 使用分数形式表示 , 这里分别定义分子和分母 ;

x264Param.i_fps_num = fps;  // 分子
x264Param.i_fps_den = 1;    // 分母
x264Param.i_timebase_den = x264Param.i_fps_num; //分子
x264Param.i_timebase_num = x264Param.i_fps_den; //分母




七、 设置 x264 编码器 编码帧相关参数


1 . 关键帧解码数据 : 关键帧及后面的帧如何解码 , 需要根据 SPS , PPS 数据进行解码 ;


2 . 关键帧间距 : 这里使用 fps 描述关键帧之间的间距 , 2 秒一个关键帧 ;



3 . B 帧个数 : B 帧解码时, 既要参考前面的帧, 又要参考后面的帧 ;


① B 帧存在的意义 : 减小视频流的大小 ;

② B 帧存在的弊端 : 增加解码时间 ;

③ 直播场景的选择 : 直播中实时性性能很重要 , 因此这里选择不编码 B 帧 , 直接将 B 帧个数设置为 0 ;



4 . 特殊场景考虑 : 当前开发需求是直播 , 用户可能在任意时间进入直播间 ;


① 解码数据 SPS / PPS : 如果关键帧后面没有自带解码数据 , 那么用户如果进入该直播间 , 将无法观看直播 , 建议关键帧携带 SPS / PPS 解码数据 ;

② 关键帧间距 : 如果关键帧间距太长 , 用户在关键帧空档期间进入直播间 , 那么需要等到下一个关键帧到来 , 才能观看直播 , 建议将帧间距设置在 10 秒以内 ;

/*
   关键帧数据 I 是否附带 SPS PPS 数据
   编码后, 会输出图像编码后的数据
   第一个图像数据输入到 x264 编码器后, 进行编码
   编码的第一个图像编码出来的数据 肯定是 SPS PPS 关键帧 三种数据
   SPS PPS 作用是告知后续如何解码视频中的图像数据
   第二个图像数据输入到 x264 编码器后, 进行编码
   编码的第二个图像编码出来的数据 是 P 帧
   后续 n 个图像编码出 n 个 P 帧
   第 n + 3 个图像又编码出一个关键帧 I
   任何一个画面都可以编码成关键帧
   直播时建议设置成 1
   因为中途会有新用户加入, 此时该用户的播放器必须拿到 SPS PPS 才能解码画面
   否则无法观看视频
   如果设置成 0, 那么就需要开发者自己维护 SPS PPS 数据
   保证后来的用户可以看到直播画面
 */
x264Param.b_repeat_headers = 1;
// 计算帧间距的依据, 该设置表示使用 fps 帧率计算帧间距
// 两帧之间间隔多少 fps
// 也可以使用时间戳计算帧间距
x264Param.b_vfr_input = 0;
/*
   关键帧的间距, 两个关键帧之间的距离
   fps 表示 1 秒钟画面帧的数量, fps * 2 表示 2 秒钟的帧数
   该设置表示每隔 2 秒, 采集一个关键帧数据
   关键帧间隔时间不能太长
   关键帧间隔不能设置太长, 如设置 10 秒
   当用户1观看直播时, 不影响观看
   当用户2进入房间, 此时刚过去一个关键帧, 10秒内没有关键帧
   该用户需要等待 10 秒后收到关键帧数据后, 才有画面显示出来
 */
x264Param.i_keyint_max = fps * 2;
// 设置 B 帧个数, 这里设置没有 B 帧, 只有 I 帧和 P 帧
// B 帧解码时, 既要参考前面的帧, 又要参考后面的帧
// B 帧能减少传输的数据量, 但同时降低了解码速度, 直播中解码速度必须要快
x264Param.i_bframe = 0;




八、 x264 编码器参数设置代码示例


x264 编码器参数设置代码示例 :

    // 设置 x264 编码器参数
    x264_param_t x264Param;

    /*
     * 获取 x264 编码器参数
     * int x264_param_default_preset( x264_param_t *, const char *preset, const char *tune )
     * 参数一 : x264_param_t * : x264 编码参数指针
     *
     * 参数二 : const char *preset : 设置编码速度, 这里开发直播, 需要尽快编码推流,
     * 这里设置最快的速度 ultrafast, 字符串常量, 值从 下面的参数中选择 ;
     * static const char * const x264_preset_names[] = { "ultrafast", "superfast", "veryfast",
     * "faster", "fast", "medium", "slow", "slower", "veryslow", "placebo", 0 };
     *
     * 参数三 : const char *tune : 视频编码场景设置, 这里选择 zerolatency 无延迟编码
     * static const char * const x264_tune_names[] = { "film", "animation", "grain",
     * "stillimage", "psnr", "ssim", "fastdecode", "zerolatency", 0 };
     *
     * 编码速度快, 意味着牺牲了画面的质量
     */
    x264_param_default_preset(&x264Param, "ultrafast", "zerolatency");

    // 编码规格设定, 32 对应的是 3.2 编码规格, 该规格下有指定的 码率, 帧率要求
    // 参考 https://www.wanweibaike.com/wiki-H.264 中的最大性能级别
    x264Param.i_level_idc = 32;

    // 设置输入到 x264 编码器的数据格式, 宽度, 高度等参数
    x264Param.i_csp = X264_CSP_I420;
    x264Param.i_width = mWidth;
    x264Param.i_height = mHeight;

    /*
       设置码率相关参数
       码率有三种模式 : X264_RC_CQP 恒定质量, X264_RC_CRF 恒定码率, X264_RC_ABR 平均码率
       这里设置一个平均码率输出
     */
    x264Param.rc.i_rc_method = X264_RC_ABR;
    // 设置码率, 单位是 kbps
    x264Param.rc.i_bitrate = bitrate / 1000;
    // 设置最大码率, 单位 kbps, 该配置与 i_vbv_buffer_size 配套使用
    x264Param.rc.i_vbv_max_bitrate = bitrate / 1000 * 1.2;
    // 该配置与 i_vbv_max_bitrate 配置配套使用, 码率控制缓冲区大小
    x264Param.rc.i_vbv_buffer_size = bitrate / 1000;

    // 设置帧率相关参数, 帧率是个有理数, 使用分数形式表示
    x264Param.i_fps_num = fps;  // 分子
    x264Param.i_fps_den = 1;    // 分母
    x264Param.i_timebase_den = x264Param.i_fps_num; //分子
    x264Param.i_timebase_num = x264Param.i_fps_den; //分母


    // 下面是关于帧的先关设置

    /*
       关键帧数据 I 是否附带 SPS PPS 数据
       编码后, 会输出图像编码后的数据

       第一个图像数据输入到 x264 编码器后, 进行编码
       编码的第一个图像编码出来的数据 肯定是 SPS PPS 关键帧 三种数据
       SPS PPS 作用是告知后续如何解码视频中的图像数据

       第二个图像数据输入到 x264 编码器后, 进行编码
       编码的第二个图像编码出来的数据 是 P 帧

       后续 n 个图像编码出 n 个 P 帧

       第 n + 3 个图像又编码出一个关键帧 I

       任何一个画面都可以编码成关键帧

       直播时建议设置成 1
       因为中途会有新用户加入, 此时该用户的播放器必须拿到 SPS PPS 才能解码画面
       否则无法观看视频
       如果设置成 0, 那么就需要开发者自己维护 SPS PPS 数据
       保证后来的用户可以看到直播画面
     */
    x264Param.b_repeat_headers = 1;

    // 计算帧间距的依据, 该设置表示使用 fps 帧率计算帧间距
    // 两帧之间间隔多少 fps
    // 也可以使用时间戳计算帧间距
    x264Param.b_vfr_input = 0;

    /*
       关键帧的间距, 两个关键帧之间的距离
       fps 表示 1 秒钟画面帧的数量, fps * 2 表示 2 秒钟的帧数
       该设置表示每隔 2 秒, 采集一个关键帧数据

       关键帧间隔时间不能太长

       关键帧间隔不能设置太长, 如设置 10 秒
       当用户1观看直播时, 不影响观看
       当用户2进入房间, 此时刚过去一个关键帧, 10秒内没有关键帧
       该用户需要等待 10 秒后收到关键帧数据后, 才有画面显示出来
     */
    x264Param.i_keyint_max = fps * 2;

    // 设置 B 帧个数, 这里设置没有 B 帧, 只有 I 帧和 P 帧
    // B 帧解码时, 既要参考前面的帧, 又要参考后面的帧
    // B 帧能减少传输的数据量, 但同时降低了解码速度, 直播中解码速度必须要快
    x264Param.i_bframe = 0;

    // 是否开启多线程
    x264Param.i_threads = 1;
韩曙亮
关注
专栏目录
(十四) x264视频编码、faac音频编码、rtmpdump推流
huanghuangjin的博客
05-17 355
#include "hjcommon.hpp" #include "x264.h" #include "rtmp.h" #include "faac.h" extern "C" { #include "queue.h" } // video static x264_picture_t pic_in; // x264编码输入的图像 static x264_picture_t pic_ou
硬件编码相关知识(H264,H265)
yinshipin007的博客
11-14 2122
1. 在升级 iOS 11 之后，iPhone 7 及更新的设备内的照片存储将不再用 JPEG 了，而采用了一种新的图片格式 HEIF（发音同 heef），在 iOS 中对应的文件后缀为 .heic ，其编码用的是 HEVC（这个发不了音，哈哈哈）格式，又称 H.265 （这个就很熟悉了 H.264 的下一代），同时视频也用 HEVC 作为编码器，对应的文件后缀还是 .mov。首先，通过摄像头来采集图像，然后将采集到的图像，通过硬编码的方式进行编码，最后编码后的数据将其组合成H264的码流通过网络传播。
x264_android:多线程编码支持
07-04
x264_android 1.armeabi 和 armeabi-v7a(neon) 2.多线程编码支持
android 264编码,Android 使用 x264 编码
weixin_31431507的博客
05-26 356
import java.io.File;import java.io.RandomAccessFile;import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.view.View;import android.content.res.Configuration...
x264的编译和在Android上的使用
最新发布
Silencer
06-26 1136
本文介绍了x264库的交叉编译以及在android开发中的使用
x264获取sps pps 等信息
chinabinlang的专栏
12-10 3045
通常是通过 x264_nal_t::i_type 判断当前的NAL的类型; 其定义的枚举类型： enum nal_unit_type_e {     NAL_UNKNOWN     = 0,     NAL_SLICE       = 1,     NAL_SLICE_DPA   = 2,     NAL_SLICE_DPB   = 3,     NAL_SLICE_DPC
x264 for Android
06-15
资源文件为Mac下Android平台的x264静态库，支持架构：arm(armv7-a)、arm64、x86、x86_64，NDK版本为r17，API版本为21。 库文件为本人手动编译，若积分不够，可参考原文：https://blog.csdn.net/lizhijian21/article/details/80676254。
ffmpeg中设置x264设置sps id，实现多个SPS/PPS
weixin_33719619的博客
05-18 932
2019独角兽企业重金招聘Python工程师标准>>> ...
A10-rtsph264_硬件编码.zip
05-06
1. **硬件编码器接口**：了解A10处理器如何暴露其硬件编码器的接口，包括初始化、设置编码参数（如分辨率、码率、帧率）以及提交原始视频帧进行编码。 2. **H.264编码流程**：理解H.264编码的基本步骤，如宏块划分...
HDMI高清编码器
04-09
这款编码器支持H.264编码格式，包括Baseline Profile、Main Profile和High Profile，以及MJPEG/JPEG Baseline编码，能够同时处理视频和音频编码。其音频编码则支持MPEG1 Audio Layer 2，码率控制范围从16kbit/s到12M...
Android摄像头经x264编码RTMP封装推送到服务器源码
05-04
Android下摄像头视频采集经过x264编码后，再进行rtmp打包封装并推送到服务器上,含源码。视频流可以在VLC和Android app上播放；更多可关注：http://blog.csdn.net/yqw2007/article/details/43273259
ffmpeg+x264+aac的windows10的x64版本
04-18
ffmpeg+x264+aac.
Android x264编码器移植
John的专栏
05-11 2428
最近需要做x264的移植，网上找了很多资料都无法找到合适的x264移植的办法，最后自己瞎搞出了一个办法，最终移植成功。故做纪念，尽供大家参考，其中有很多地方我也不知道对错，望大家批评指正。 一、 x264的源码为最新的版本（http://www.videolan.org/developers/x264.html） NDK使用的是android-ndk-r7c 二、 进入主题，其实
x264码率控制总结3——码率控制参数详解
huibailingyu的专栏
02-12 8554
x264码率控制参数详解   -q, --qp           Force constant QP (0-51, 0=lossless) 默认：无 说明：三种可选的码率控制方法(bitrate, CQP，CRF)之一。设置x264使用固定QP模式。设定的QP将被作为P帧的量化参数，I帧和B帧的量化参数由–ipratio and –pbratio参数进一步算出。CQP模式使用固定的QP
在Linux下编译Android版X264「第七章，Android音视频编码那点破事」
weixin_42277689的博客
09-09 443
本章仅对部分代码进行讲解，以帮助读者更好的理解章节内容。 本系列文章涉及的项目HardwareVideoCodec已经开源到Github，支持软编和硬编。使用它你可以很容易的实现任何分辨率的视频编码，无需关心摄像头预览大小。一切都如此简单。目前已迭代多个稳定版本，欢迎查阅学习和使用，如有BUG或建议，欢迎Issue。   关于x264的编译比较简单，网上的教程也挺多的，这里只是总结一下，多个...
x264 SPS PPS 学习
scu_hjq的专栏
08-13 401
/*****************************************************************************  * set.h: quantization init  *****************************************************************************  * Copyright (...
android视频编码格式,Android,ios平台上x264编码实时视频参数设置与优化 | 贝壳博客...
weixin_39689700的博客
05-26 362
移动设备上的H.264实时视频编码,需要考虑到cpu占用与带宽这2个限制因素,使用X264软编码,开启neon指令集优化,即使是在arm处理器下,依然可以通过优化配置达到满意的性能.以下测试环境 一段352×288@15fps的视频，模拟摄像头采集到的数据。ipod touch4 和昨天编译出的X264:Touch-future:~ root# ./x264 -o video_1.h264 vid...
H264_SPS_PPS信息
nicolelili1的专栏
12-16 287
JNIEXPORT void JNICALL Java_com_dongnaoedu_live_jni_PushNative_fireVideo (JNIEnv *env, jobject jobj, jbyteArray buffer){ //视频数据转为YUV420P //NV21->YUV420P jbyte* nv21_buffer = (*...
H.264 SDI高清编码器：集成高效，广泛应用于IPTV、监控与会议
SDI高清编码器是一款专为高清音视频处理而设计的专业设备，它主要负责将非压缩的高清SDI信号（如HDcctv和ONVIF标准）转换为H.264编码的网络流，以便于在网络环境中高效传输和存储。这款设备具备多种编码模式，包括H....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值