FFmpeg RTMP推(收)HEVC/H265流 （ijk）

最新推荐文章于 2024-08-21 08:22:26 发布
最新推荐文章于 2024-08-21 08:22:26 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 音视频 android
原文链接：https://blog.csdn.net/smallhujiu/article/details/81703434
版权

ijk是用ffmpeg的，所以修改完后，ijk也可以支持

https://blog.csdn.net/smallhujiu/article/details/81703434

方法：1

FFmpeg RTMP推HEVC/H265流

方法2：

按下文替换相关文件

https://github.com/CDN-Union/H265

备份，方法1的文章 ：

    直播流媒体协议中，HLS和RTMP协议是两大主流协议。而众所周知的原因，RTMP在许多年前就已经停止拓展和更新，因此标准一直无法支持HEVC的编码格式。目前国内的CDN还有金山云等已经对RTMP进行了标准扩展，播放器上ijkplayer也扩展了该修改。

    具体FFmpeg的修改代码如下：

From e40fcb1113cb1c93c48b8ef74b8aec6437f23d84 Mon Sep 17 00:00:00 2001
From: Franken Zeng <zengfanping@kingsoft.com>
Date: Wed, 14 Jun 2017 21:33:54 +0800
Subject: [PATCH] The RTMP protocol extensions for H.265/HEVC
 
---
 libavformat/flv.h    |  1 +
 libavformat/flvdec.c | 16 +++++++++++++---
 libavformat/flvenc.c | 29 ++++++++++++++++++++---------
 3 files changed, 34 insertions(+), 12 deletions(-)
 
diff --git a/libavformat/flv.h b/libavformat/flv.h
index df5ce3d17f8..089bc76972d 100644
--- a/libavformat/flv.h
+++ b/libavformat/flv.h
@@ -109,6 +109,7 @@ enum {
     FLV_CODECID_H264    = 7,
     FLV_CODECID_REALH263= 8,
     FLV_CODECID_MPEG4   = 9,
+    FLV_CODECID_HEVC   = 12,
 };
 
 enum {
diff --git a/libavformat/flvdec.c b/libavformat/flvdec.c
index 2d89bef15f2..c8073b88a92 100644
--- a/libavformat/flvdec.c
+++ b/libavformat/flvdec.c
@@ -36,6 +36,7 @@
 #include "internal.h"
 #include "avio_internal.h"
 #include "flv.h"
+#include "hevc.h"
 
 #define VALIDATE_INDEX_TS_THRESH 2500
 
@@ -291,6 +292,8 @@ static int flv_same_video_codec(AVCodecParameters *vpar, int flags)
         return vpar->codec_id == AV_CODEC_ID_VP6A;
     case FLV_CODECID_H264:
         return vpar->codec_id == AV_CODEC_ID_H264;
+    case FLV_CODECID_HEVC:
+        return vpar->codec_id == AV_CODEC_ID_HEVC;
     default:
         return vpar->codec_tag == flv_codecid;
     }
@@ -340,6 +343,11 @@ static int flv_set_video_codec(AVFormatContext *s, AVStream *vstream,
         par->codec_id = AV_CODEC_ID_MPEG4;
         ret = 3;
         break;
+    case FLV_CODECID_HEVC:
+        par->codec_id = AV_CODEC_ID_HEVC;
+        vstream->need_parsing = AVSTREAM_PARSE_NONE;
+        ret = 3;     // not 4, reading packet type will consume one byte
+        break;
     default:
         avpriv_request_sample(s, "Video codec (%x)", flv_codecid);
         par->codec_tag = flv_codecid;
@@ -1149,10 +1157,12 @@ static int flv_read_packet(AVFormatContext *s, AVPacket *pkt)
 
     if (st->codecpar->codec_id == AV_CODEC_ID_AAC ||
         st->codecpar->codec_id == AV_CODEC_ID_H264 ||
-        st->codecpar->codec_id == AV_CODEC_ID_MPEG4) {
+        st->codecpar->codec_id == AV_CODEC_ID_MPEG4 ||
+        st->codecpar->codec_id == AV_CODEC_ID_HEVC) {
         int type = avio_r8(s->pb);
         size--;
-        if (st->codecpar->codec_id == AV_CODEC_ID_H264 || st->codecpar->codec_id == AV_CODEC_ID_MPEG4) {
+        if (st->codecpar->codec_id == AV_CODEC_ID_H264 || st->codecpar->codec_id == AV_CODEC_ID_MPEG4
+                || st->codecpar->codec_id == AV_CODEC_ID_HEVC) {
             // sign extension
             int32_t cts = (avio_rb24(s->pb) + 0xff800000) ^ 0xff800000;
             pts = dts + cts;
@@ -1168,7 +1178,7 @@ static int flv_read_packet(AVFormatContext *s, AVPacket *pkt)
             }
         }
         if (type == 0 && (!st->codecpar->extradata || st->codecpar->codec_id == AV_CODEC_ID_AAC ||
-            st->codecpar->codec_id == AV_CODEC_ID_H264)) {
+            st->codecpar->codec_id == AV_CODEC_ID_H264 || st->codecpar->codec_id == AV_CODEC_ID_HEVC)) {
             AVDictionaryEntry *t;
 
             if (st->codecpar->extradata) {
diff --git a/libavformat/flvenc.c b/libavformat/flvenc.c
index 899b07ea7be..eb955e5b451 100644
--- a/libavformat/flvenc.c
+++ b/libavformat/flvenc.c
@@ -34,6 +34,7 @@
 #include "libavutil/opt.h"
 #include "libavcodec/put_bits.h"
 #include "libavcodec/aacenctab.h"
+#include "hevc.h"
 
 
 static const AVCodecTag flv_video_codec_ids[] = {
@@ -46,6 +47,7 @@ static const AVCodecTag flv_video_codec_ids[] = {
     { AV_CODEC_ID_VP6,      FLV_CODECID_VP6 },
     { AV_CODEC_ID_VP6A,     FLV_CODECID_VP6A },
     { AV_CODEC_ID_H264,     FLV_CODECID_H264 },
+    { AV_CODEC_ID_HEVC,     FLV_CODECID_HEVC },
     { AV_CODEC_ID_NONE,     0 }
 };
 
@@ -486,7 +488,7 @@ static void flv_write_codec_header(AVFormatContext* s, AVCodecParameters* par) {
     FLVContext *flv = s->priv_data;
 
     if (par->codec_id == AV_CODEC_ID_AAC || par->codec_id == AV_CODEC_ID_H264
-            || par->codec_id == AV_CODEC_ID_MPEG4) {
+            || par->codec_id == AV_CODEC_ID_MPEG4 || par->codec_id == AV_CODEC_ID_HEVC) {
         int64_t pos;
         avio_w8(pb,
                 par->codec_type == AVMEDIA_TYPE_VIDEO ?
@@ -533,7 +535,11 @@ static void flv_write_codec_header(AVFormatContext* s, AVCodecParameters* par) {
             avio_w8(pb, par->codec_tag | FLV_FRAME_KEY); // flags
             avio_w8(pb, 0); // AVC sequence header
             avio_wb24(pb, 0); // composition time
-            ff_isom_write_avcc(pb, par->extradata, par->extradata_size);
+            if (par->codec_id == AV_CODEC_ID_HEVC) {
+                ff_isom_write_hvcc(pb, par->extradata, par->extradata_size, 0);
+            } else {
+                ff_isom_write_avcc(pb, par->extradata, par->extradata_size);
+            }
         }
         data_size = avio_tell(pb) - pos;
         avio_seek(pb, -data_size - 10, SEEK_CUR);
@@ -836,7 +842,7 @@ static int flv_write_trailer(AVFormatContext *s)
             AVCodecParameters *par = s->streams[i]->codecpar;
             FLVStreamContext *sc = s->streams[i]->priv_data;
             if (par->codec_type == AVMEDIA_TYPE_VIDEO &&
-                    (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_MPEG4))
+                (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_MPEG4 || par->codec_id == AV_CODEC_ID_HEVC))
                 put_avc_eos_tag(pb, sc->last_ts);
         }
     }
@@ -880,15 +886,16 @@ static int flv_write_packet(AVFormatContext *s, AVPacket *pkt)
     int64_t cur_offset = avio_tell(pb);
 
     if (par->codec_id == AV_CODEC_ID_VP6F || par->codec_id == AV_CODEC_ID_VP6A ||
-        par->codec_id == AV_CODEC_ID_VP6  || par->codec_id == AV_CODEC_ID_AAC)
+        par->codec_id == AV_CODEC_ID_VP6  || par->codec_id == AV_CODEC_ID_AAC) {
         flags_size = 2;
-    else if (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_MPEG4)
+    } else if (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_MPEG4 || par->codec_id == AV_CODEC_ID_HEVC) {
         flags_size = 5;
-    else
+    } else {
         flags_size = 1;
+    }
 
     if (par->codec_id == AV_CODEC_ID_AAC || par->codec_id == AV_CODEC_ID_H264
-            || par->codec_id == AV_CODEC_ID_MPEG4) {
+            || par->codec_id == AV_CODEC_ID_MPEG4 || par->codec_id == AV_CODEC_ID_HEVC) {
         int side_size = 0;
         uint8_t *side = av_packet_get_side_data(pkt, AV_PKT_DATA_NEW_EXTRADATA, &side_size);
         if (side && side_size > 0 && (side_size != par->extradata_size || memcmp(side, par->extradata, side_size))) {
@@ -951,6 +958,10 @@ static int flv_write_packet(AVFormatContext *s, AVPacket *pkt)
         if (par->extradata_size > 0 && *(uint8_t*)par->extradata != 1)
             if ((ret = ff_avc_parse_nal_units_buf(pkt->data, &data, &size)) < 0)
                 return ret;
+    } else if (par->codec_id == AV_CODEC_ID_HEVC) {
+        if (par->extradata_size > 0 && *(uint8_t*)par->extradata != 1)
+            if ((ret = ff_hevc_annexb2mp4_buf(pkt->data, &data, &size, 0, NULL)) < 0)
+                return ret;
     } else if (par->codec_id == AV_CODEC_ID_AAC && pkt->size > 2 &&
                (AV_RB16(pkt->data) & 0xfff0) == 0xfff0) {
         if (!s->streams[pkt->stream_index]->nb_frames) {
@@ -1021,9 +1032,9 @@ static int flv_write_packet(AVFormatContext *s, AVPacket *pkt)
             else
                 avio_w8(pb, ((FFALIGN(par->width,  16) - par->width) << 4) |
                              (FFALIGN(par->height, 16) - par->height));
-        } else if (par->codec_id == AV_CODEC_ID_AAC)
+        } else if (par->codec_id == AV_CODEC_ID_AAC) {
             avio_w8(pb, 1); // AAC raw
-        else if (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_MPEG4) {
+        } else if (par->codec_id == AV_CODEC_ID_H264 || par->codec_id == AV_CODEC_ID_MPEG4 || par->codec_id == AV_CODEC_ID_HEVC) {
             avio_w8(pb, 1); // AVC NALU
             avio_wb24(pb, pkt->pts - pkt->dts);
         }

通过该项修改即可拓展FFmpeg中RTMP对于HEVC的支持。

    我的上一篇文章，《FFmpeg+Nginx搭建RTMP直播推流服务》记录了FFmpeg+Nginx的RTMP的搭建方式。

    但是由于服务端Nginx并没有添加HEVC下重发flv的header头部，因此播放器端只有在从流的最开始才能够成功的解码，否则会出现缺少解码参数集导致无法成功解码。解决办法有两个：

     1. 在FFmpeg代码中每一包都手动添加解码参数集于flv的header中，修改如下：

     ff_write_packet中

    if (par->codec_id == AV_CODEC_ID_AAC || par->codec_id == AV_CODEC_ID_H264
            || par->codec_id == AV_CODEC_ID_MPEG4 || par->codec_id == AV_CODEC_ID_HEVC) {
        int side_size = 0;
        uint8_t *side = av_packet_get_side_data(pkt, AV_PKT_DATA_NEW_EXTRADATA, &side_size);
        if (side && side_size > 0 && (side_size != par->extradata_size || memcmp(side, par->extradata, side_size))) {
            av_free(par->extradata);
            par->extradata = av_mallocz(side_size + AV_INPUT_BUFFER_PADDING_SIZE);
            if (!par->extradata) {
                par->extradata_size = 0;
                return AVERROR(ENOMEM);
            }
            memcpy(par->extradata, side, side_size);
            par->extradata_size = side_size;
            flv_write_codec_header(s, par, pkt->dts);
        } else {
            flv_write_codec_header(s, par, pkt->dts);
        }
    }

 2. 修改Nginx，添加HEVC的支持。这部分暂无时间修改

 

 

P.TAN
关注
专栏目录
android音视频点/直播模块开发
irainsa的博客
12-02 735
随着音视频领域的火热，在很多领域（教育，游戏，娱乐，体育，跑步，餐饮，音乐等）尝试做音视频直播/点播功能，那么作为开发一个小白，如何快速学习音视频基础知识，了解音视频编解码的传输协议，编解码方式，以及如何技术选型，如何解决遇到的坑，本文抛砖引玉，欢迎大咖交流。
视频基础知识
irainsa的博客
10-31 1111
作为移动开发者，大多数时候会需要接触到音视频相关的开发，而其实严格意义上我也并不是专职的音视频开发工程师，只是在 2016 因为业务需要接触到音视频相关的领域，而开源的恰好火起来之后，为了解决系列问题成了“半桶水”的音视频开发工程师。在维护的这几年里，我发现很多开发者对于音视频领域相关的基本概念还是不清楚，所以我也经常可以收获这样的 issue：“为什 么xxx 可以播而 GSY 不能播？”“我两个视频都是 mp4 为什么其中一个播放不了？”“为什么缓冲过的视频 seek 完还要重新请求数据？”
ffmpeg 编译 支持 h265 rtmp 推流
08-04
Windows 下 用MSYS2 MinGW 64-bit 编译 ffmpeg ， 使之 支持 h265 rtmp 推流 资源文件。
FFmpeg RTMP推HEVC/H265流
热门推荐
James的博客
08-15 2万+
    直播流媒体协议中，HLS和RTMP协议是两大主流协议。而众所周知的原因，RTMP在许多年前就已经停止拓展和更新，因此标准一直无法支持HEVC的编码格式。目前国内的CDN还有金山云等已经对RTMP进行了标准扩展，播放器上ijkplayer也扩展了该修改。     具体FFmpeg的修改代码如下： From e40fcb1113cb1c93c48b8ef74b8aec6437f23d84...
FFmpeg RTMP H265 开源项目教程
最新发布
gitblog_00152的博客
08-21 292
FFmpeg RTMP H265 开源项目教程 ffmpeg_rtmp_h265add h265 in rtmp/flv in ffmpeg项目地址:https://gitcode.com/gh_mirrors/ff/ffmpeg_rtmp_h265 1. 项目的目录结构及介绍 ffmpeg_rtmp_h265/ ├── README.md ├── bin/ │ ├── ffmpeg │ ...
ffmpeg 支持用h265编码的rtmp
howesao的专栏
08-04 3097
ffmpeg 支持用h265编码的rtmp
支持 flv+h265 的ffmpeg编译安装
编程圈子-谢厂节的博客
05-29 1590
支持 flv+h265 的ffmpeg编译安装一、操作说明二、编译依赖1. h2642. h2653. 编译ffmpeg三、问题处理1. x264_bit_depth 未定义2. fdk-aac 出现has no member named ‘encoderDelay’ 一、操作说明 ffmpeg 官方分支没有支持flv+h265，国内金山云发了补丁版本，地址： git clone https://github.com/ksvc/FFmpeg.git -b release/3.4 --depth=1 二、编
ffmpeg-4.3.1.2-support-flvh265-rtmp.tar.gz
07-20
修改了ffmpeg4.3.1.2源码，增加了flv对H265/HEVC的支持，可实现h265的RTMP 推流和拉流，修改地方为FLV.h 和Flvdec.c 两个文件
安卓ijk播放器 so库集成大部分播放格式
10-13
2. 高效解码：ijkplayer利用FFmpeg的强大解码能力，能够处理各种编码格式，如H.264、HEVC、AAC等。 3. 硬件加速：ijkplayer支持ARM Neon和Android硬件解码器，有效降低CPU使用率，提高播放流畅性。 4. 网络流播放：...
Android直播，音视频播放那些事儿
watertekhqx的博客
05-04 6708
流媒体是什么，常用的协议，实现直播使用三方资源库的选择
ffmpeg.5.0.1_重新编译exe_支持flv_H265+H264编码和解码+H265编码和解码
05-07
ffmpeg.5.0.1_重新编译exe_支持flv_H265+H264编码和解码+H265编码和解码
通过RTMP播放H265 H264 OCX控件
11-21
通过RTMP播放H265,H264控件，最多支持十六路窗口，接口丰富。VC,VB,网页，.net都能调用
rtmp 播放工具 支持H265及rtsp转码rtmp.rar
05-11
rtmp 播放工具，支持H264 H265, 参考FFmpeg完成rtmp H265推流后，使用此工具测试OK. 工具同时支持将rtsp转码rtmp推送测试平台，比Wowza Streaming用着更方便，rtmp开发者值得拥有，具体开发问题也可留言讨论。谢谢
H265(ffmpeg_and_nginx-rtmp).7z
05-20
有问题留言找我！ 支持h265-rtmp的ffmpeg和nginx-rtmp。 ffmpeg读取h265视频按rtmp推送给nginx，ffplay再从nginx拉取rtmp视频可以正常播放。
arm下静态编译的ffmpeg可执行文件, 此ffmpeg 推送rtmp时协议支持H265
06-02
arm下静态编译的ffmpeg可执行文件, 此ffmpeg 推送rtmp时协议支持H265, 直接拷备到arm架构 linux系统中可用
ffmpeg h265
weixin_33971130的博客
02-23 445
最新版本号的ffmpeg 支持 libh265,可是还是0基础測试阶段 在linux 上安装ffmpeg 支持h265编码器依照下面步骤： Anyhow here are the simple steps: 1. Make sure you have a current build of ffmpeg checked out of git along with any o...
使用FFmpeg RTMP H265：高效视频流处理的新里程碑
gitblog_00004的博客
04-02 809
使用FFmpeg RTMP H265：高效视频流处理的新里程碑 ffmpeg_rtmp_h265add h265 in rtmp/flv in ffmpeg项目地址:https://gitcode.com/gh_mirrors/ff/ffmpeg_rtmp_h265 项目简介 是一个基于开源多媒体处理工具 FFmpeg 的扩展项目，专注于RTMP协议和高效的H.265编码。它提供了一套简单易用的...
ffmpeg编译支持h265 的rtmp版本
weixin_43360707的博客
06-25 2419
其实所有都参考：https://www.pianshen.com/article/46201096227/ smart rtmpd 服务器支持 rtmp 的 hevc(h265) 视频流，我们具体 smart rtmpd 的信息简介如下，毕竟 hevc(h265) 不是 adobe 的标准，所以市面上缺少这么一款工具，下面的流程，就会带你怎么制作 ffmpeg ，让其支持自定制的 hevc(h265) 视频流 原文地址：http://www.qiyicc.com/bbs001/forum.php?mod=v
FFmpeg API 接收H264/265的码流
03-28
FFmpeg是一个开源、跨平台的音视频处理工具，它可以接收各种格式的音视频流，并提供了丰富的编解码、转码、过滤等功能。在使用FFmpeg接收H264/265的码流时，可以通过以下步骤实现： 1. 初始化AVFormatContext AVFormatContext是FFmpeg中用于存储音视频格式信息的结构体，通过avformat_alloc_context函数创建并初始化AVFormatContext对象。 2. 打开输入流 通过avformat_open_input函数打开输入流，该函数会自动检测输入流的格式，并将相关信息填充到AVFormatContext中。 3. 查找音视频流信息 通过avformat_find_stream_info函数查找音视频流信息，该函数会解析输入流中的音视频流，并将相关信息填充到AVFormatContext中的streams数组中。 4. 查找音视频流索引 根据需要接收的音视频流类型（如视频流、音频流），遍历AVFormatContext中的streams数组，查找对应的音视频流索引。 5. 初始化解码器 根据音视频流索引，通过AVCodecParameters获取音视频流的解码器信息，并通过avcodec_find_decoder函数查找对应的解码器，最后通过avcodec_open2函数打开解码器。 6. 接收码流并解码 通过av_read_frame函数读取一帧音视频码流，将其送入解码器进行解码，得到解码后的音视频数据。 7. 处理解码后的音视频数据 对于视频数据，可以通过OpenGL等图像库进行渲染显示；对于音频数据，可以通过OpenAL等音频库进行播放输出。 8. 释放资源 在使用完毕后，需要通过相应的函数依次释放资源，避免内存泄漏。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值