基于libRTMP的流媒体直播之音频推送

最新推荐文章于 2024-08-16 08:56:45 发布
最新推荐文章于 2024-08-16 08:56:45 发布
阅读量5.3k 收藏 4
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014287775/article/details/53505525
版权

不论像RTMP服务器推送视频还是音频，都需要按照FLV格式进行封包，然后调用librtmp接口函数进行发送。透过对FLV文件协议的理解，我们在向RTMP服务器发送yin数据包之前，需要需要首先推送一个音频 Tag [Audio Sequence Header] 以下简称“音频同步包”，或者视频 Tag [AVC Sequence Header] 以下简称“视频同步包”。现在我们先来介绍一下这个Tag包：

开头两个字节,表示音频的相关参数，如AAC音频包的头两个字节 AF 00, 前四位 A表示音频类型为AAC，F中，前两位表示采样率，j紧跟着的一位表示采样精度，最后一位表示声道类型（单声道还是双声道）。第二个字节0x00表示传输的音频数据为Audio Sequence Header, 如果时0x01表示发送的数据为音频data数据。

FLV中的格式介绍如下：



对于AAC音频，在这两个字节的后面，还会跟随两个字节AAC特有的头，AudioSpecificConfig，详细指定了AAC音频的参数信息。

前5位，表示AAC的类型（AAC_LC等），紧接着的4个字节表示AAC音频的采样率，紧接着4个位表示音频输出声道信息，最后三位，为三个标志位。例如：例如0X13 0X90， 0x13 0x90（1001110010000） 表示 ObjectProfile=2， AAC-LC，SamplingFrequencyIndex=7，ChannelConfiguration=声道2


具体如下：


详细介绍：

音频类型（5bit）:分两种，如果是MPEG-4，支持的种类比较多

  • 1: AAC Main
  • 2: AAC LC (Low Complexity)
  • 3: AAC SSR (Scalable Sample Rate)
  • 4: AAC LTP (Long Term Prediction)
  • 5: SBR (Spectral Band Replication)
  • 6: AAC Scalable
  • 7: TwinVQ
  • 8: CELP (Code Excited Linear Prediction)
  • 9: HXVC (Harmonic Vector eXcitation Coding)
  • 10: Reserved
  • 11: Reserved
  • 12: TTSI (Text-To-Speech Interface)
  • 13: Main Synthesis
  • 14: Wavetable Synthesis
  • 15: General MIDI
  • 16: Algorithmic Synthesis and Audio Effects
  • 17: ER (Error Resilient) AAC LC
  • 18: Reserved
  • 19: ER AAC LTP
  • 20: ER AAC Scalable
  • 21: ER TwinVQ
  • 22: ER BSAC (Bit-Sliced Arithmetic Coding)
  • 23: ER AAC LD (Low Delay)
  • 24: ER CELP
  • 25: ER HVXC
  • 26: ER HILN (Harmonic and Individual Lines plus Noise)
  • 27: ER Parametric
  • 28: SSC (SinuSoidal Coding)
  • 29: PS (Parametric Stereo)
  • 30: MPEG Surround
对于MPEG-2，支持的种类较少，只支持MPEG-4中的前三种类型的AAC
音频采样率（4bit）：可以表示16中采样率，每个值对应一种采样率，例如，如果该四个位表示的值为0，对应的采样率为96000Hz
具体支持的音频采样率类型及对应关系如下：
0 : 96000Hz
1 : 88200Hz
2 : 64000Hz
3 : 48000Hz
4 : 44100Hz
5 : 32000Hz
6 : 24000Hz
7 : 22050Hz
8 : 16000Hz
9 : 12000Hz
10: 11025Hz
11: 8000Hz
12: 7350Hz
13: Reserved
14: Reserved
15: Reserved
声道信息（4bit）:该值对应的声道信息关系如下：该值对应的声道信息关系如下：
0：Define in AOT Specifc Config
1: 1 channel: front_center
2: 2 channel: front-left, front-right
3: 3 channel: front_center,front-left, front-right
4: 4 channel: front_center,front-left, front-right, back_center
5: 5 channel: front_center,front-left, front-right, back_left, back_right
6: 6 channel: front_center,front-left, front-right, back_left, back_right,LFE_channel
7: 8 channel: front_center,front-left, front-right, side_left, side_right, back_left, back_right,LFE_channel
8-15：Reserved

当Audio Sequence Header发送之后，紧接着发送音频数据，每帧数据发送时，都需要先添加两个字节的音频Header,例如AAC的
0XAF 0X01，记住，第二个字节为0x01，表示发送的是音频data,而非音频Audio Sequence Header。如果是非AAC音频数据，直接将data数据跟在Header两个字节后面，封装成一组音频包，调用librtmp接口函数，发送即可；如果是AAC音频，则要先把data数据的前7个字节(或者9个字节)去掉，然后在把剩下的数据与两个字节的Header组成一组音频包发送出去；之所以要去掉7个或9个字节，因为每帧AAC数据，都包含了7个字节或9个字节的头数据，因为开始已经发送了Audio Sequence Header以及AAC自己的
AudioSpecificConfig数据，不需要再每帧数据都发送AAC的头数据，所以去掉7个或9个字节的头数据，直接发送音频数据就可以了。那为什么有7个字节和9个字节之分呢，因为AAC帧头大小可能是7个字节，也可能是9个字节，具体情况，下面来详细介绍下AAC7或9个字节的数据：(考虑到有些大牛的博客已经有过详细的介绍，这里就直接贴用了)

直播的视频用H264，音频用AAC，从FAAC里面压缩出来的一帧音频数据，要经过简单处理才能打包用RTMP协议发送到FMS上，包括保存成FLV文件，都要稍微处理一下，主要是把AAC的帧头去掉，并提取出相应的信息。

1024字节的G.711A数据，AAC一般也就300多个字节。

可以把FAAC压缩出来的帧直接保存成AAC文件，用windows7自带的播放器可以播放的，方便测试。

AAC的帧头一般7个字节，或者包含CRC校验的话9个字节，这里面包括了声音的相关参数。

结构如下：

Structure

AAAAAAAA AAAABCCD EEFFFFGH HHIJKLMM MMMMMMMM MMMOOOOO OOOOOOPP (QQQQQQQQ QQQQQQQQ)

Header consists of 7 or 9 bytes (without or with CRC).


RTMP直播到FMS中的AAC音频头 AAC Frame Header (转) - niulei20012001 - niulei20012001的博客
LetterLength (bits)Description
A12syncword 0xFFF, all bits must be 1
B1MPEG Version: 0 for MPEG-4, 1 for MPEG-2
C2Layer: always 0
D1protection absent, Warning, set to 1 if there is no CRC and 0 if there is CRC
E2profile, the MPEG-4 Audio Object Type minus 1
F4MPEG-4 Sampling Frequency Index (15 is forbidden)
G1private stream, set to 0 when encoding, ignore when decoding
H3MPEG-4 Channel Configuration (in the case of 0, the channel configuration is sent via an inband PCE)
I1originality, set to 0 when encoding, ignore when decoding
J1home, set to 0 when encoding, ignore when decoding
K1copyrighted stream, set to 0 when encoding, ignore when decoding
L1copyright start, set to 0 when encoding, ignore when decoding
M13frame length, this value must include 7 or 9 bytes of header length: FrameLength = (ProtectionAbsent == 1 ? 7 : 9) + size(AACFrame)
O11Buffer fullness
P2Number of AAC frames (RDBs) in ADTS frame minus 1, for maximum compatibility always use 1 AAC frame per ADTS frame
Q16CRC if protection absent is 0

其中最重要的就是E，F，H。

E就是类型了

0: AAC Main
1: AAC LC (Low Complexity)
2: AAC SSR (Scalable Sample Rate)
3: AAC LTP (Long Term Prediction)

F就是采样频率

0: 96000 Hz

  • 1: 88200 Hz
  • 2: 64000 Hz
  • 3: 48000 Hz
  • 4: 44100 Hz
  • 5: 32000 Hz
  • 6: 24000 Hz
  • 7: 22050 Hz
  • 8: 16000 Hz
  • 9: 12000 Hz
  • 10: 11025 Hz
  • 11: 8000 Hz
  • 12: 7350 Hz

    H就是声道

    1: 1 channel: front-center

  • 2: 2 channels: front-left, front-right
  • 3: 3 channels: front-center, front-left, front-right
  • 4: 4 channels: front-center, front-left, front-right, back-center
  • 5: 5 channels: front-center, front-left, front-right, back-left, back-right
  • 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
  • 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
我在做些补充说明：
上面E的AAC类型值与AAC定义的略有出入，每个AAC类型对应的值， 都比AAC格式定义中对应的值小1，因为在处理的时候，AAC音频数据帧合成的时候，音频的格式对应的值，都进行了-1的操作，然后写入。
编码成RTMP 对应的AAC头AudioSpecificConfig的时候，AduioSpecificConfig 中的声道信息(channelConfiguration)直接取声道H的值。
B：表示MPEG Version, 0表示MPEG4，1表示MPEG-2
D：表示是否包含有两个字节的CRC,1表示没有，aac_header_lenth = 7，0表示包含，aac_header_lenth = 9;

M：音频数据大小aac_lenth，包含了AAC HEADER(7or9 byte)。在发送音频时，合成的音频包，长度为：
audio_lenth = aac_lenth - aac_header_lenth+2;






花花永不落幕
关注
基于librtmp的推流实现
Mr_xkHuang的专栏
04-23 1万+
1.推流 配置好rtmpdump库后，我们可以先用命令行来推流看下效果 2.流程图 使用librtmp发布RTMP流的可以使用两种API：RTMP_SendPacket()和RTMP_Write()。 使用RTMP_SendPacket()发布流的时候的函数执行流程图如下图所示。 流程图中关键函数的作用如下所列： InitSockets()：初始化Socket RTMP_Alloc()：为结构...
基于librtmp，进行网络推流（264和flv）
FDmitnick的博客
01-19 1661
一、RTMP传输（大部分借鉴雷神的RTMP传输） 1、简介 librtmp 这个开源库本身就是基于flv格式的数据进行传输，所以flv 上传会比较简单， 相关介绍可以看这个链接 https://blog.csdn.net/leixiaohua1020/article/details/14229543 2、rtmp 传输h.264视频的相关知识 想要深入理解的看一下： https:...
NDK学习笔记：RtmpPusher之利用rtmpdump推h264/aac码流
vx number：zzr_admin，拉入技术交流群。
03-07 974
NDK学习笔记：RtmpPusher之利用rtmpdump推h264/aac码流 本篇将是RtmpPusher 的最后一篇。在之前的3篇文章里，我们已经把原生的视频YUV格式编码成h264，把音频的PCM格式编码成aac。现在我们借助rtmpdunmp库，把这些数据包以RTMP的协议打包并推到指定url的流服务器。这里需要配合生产者-消费者的设计模式来优雅地完成这个任务，整个落成框架如下...
基于librtmp对MP3音频文件推流实现代码
06-11
最近在做一个基于RTMP推流的项目，将实现的代码整理了供大家参考，推流环境使用ffmpeg进行推流，nginx做流媒体服务器，VLC进行拉流。
librtmp开源项目使用手册
gitblog_01197的博客
08-16 808
librtmp开源项目使用手册 librtmplibrtmp for Android and iOS项目地址:https://gitcode.com/gh_mirrors/li/librtmp 项目介绍 librtmp是RTMPDump项目的一部分，提供了一个用于实现Real-Time Messaging Protocol（RTMP）的C库。这个库支持RTMP的基本功能及其变种，包括RTMPT...
使用librtmp库发送音频，视频数据包
jenie的专栏
06-25 1603
1. libRTMP的包结构 typedef struct RTMPPacket { uint8_t m_headerType; uint8_t m_packetType; uint8_t m_hasAbsTimestamp; int m_nChannel; uint32_t m_nTimeStamp; int32_t m_nInfoField2; uint32_t m_nBodySize;
libRTMP使用说明
dianyimo9099的博客
11-07 736
名称 librtmp − RTMPDump Real-Time Messaging Protocol API 库 RTMPDump RTMP(librtmp, -lrtmp) 简介 #include<librtmp/rtmp.h> 描述 实时流协议（Real-TimeMessaging Protocol，RTMP）是用于互联网...
使用librtmp推h264、aac实时流
codeofcc的博客
03-06 5461
librtmp可以用于推rtmp流，有时候我们需要将采集的摄像头或桌面的视频数据以及麦克风的音频数据推流出去，这时候就需要使用librtmp的推流功能了，其推流流程比较简单，只是一些细节需要注意即可。
使用Librtmp进行的简单推流
Timor_lxl的博客
12-31 1711
Librtmp推流的流程概括、时间戳处理和一些代码总结
Android实时效果过滤器rtmp流媒体库。使用Mediacodec HWencoding&librtmp流媒体
07-12
该项目使用 Android 最新的MediaCodec API进行视频/音频编码和流行的 C ibrary librtmp（包括源代码）用于 rtmp 流，此外，还提供了在相机捕获阶段和编码阶段之前实现实时效果过滤器的能力。一些特点是： 支持 ...
rtmp推送aac音频流 Android将麦克风采集的数据推送到服务器（RTMPorRTSP）.zip
01-04
Android将麦克风采集的数据推送到服务器（RTMPorRTSP）"是一个涉及音频采集、编码、实时传输的复杂过程，开发者需要理解相关协议和Android系统的多媒体处理机制，才能实现稳定高效的音频流推送服务。通过研究...
librtmp推流demo
10-18
基于librtmp做推流demo，有h264数据解析，sps，pps解析，做了封装类，可参考学习
librtmp:一个简单的 rtmp 库，用 C 和跨平台编写，（Linux、Mac、Windows）
07-04
库文件 一个简单的 rtmp 库，用 C 和跨平台编写，（Linux、Mac、Windows）
librtmp.lib
11-07
由rtmpdump和openssl,zlib编译而成的静态库
librtmp获取视频流和音频流
01-03
librtmp获取视频流和音频流
librtmp库文件
06-08
编译好的librtmp静态库文件包含openssl和zlib，及源码
使用librtmp库进行推流与拉流
xuerongdeng的专栏
08-19 3031
目前比较主流的直播技术有RTMP、HLS，其中RTMP主要基于TCP协议，HLS主要基于HTTP协议，二者在实施成本、延迟性等方面有较大差异。本文主要讲解RTMP的推流与拉流技术的应用。
librtmp将本地FLV文件发布到RTMP流媒体服务器
elesos.com
05-22 480
没有用到ffmpeg库可以将本地FLV文件发布到RTMP流媒体服务器使用librtmp发布RTMP流可以使用两种API：RTMP_SendPacket()和RTMP_Write()。使用RTMP_SendPacket()发布流的时候函数执行流程如下图所示。使用RTMP_Write()发布流的时候函数执行流程图相差不大。 InitSockets()：初始化SocketRTMP_Alloc()：为结构...
librtmp实时消息传输协议(RTMP)库代码浅析
huangmindong的专栏
05-07 2482
没事碰到了librtmp库，这个库是ffmpeg的依赖库，用来接收，发布RTMP协议格式的数据。 代码在这里：git clone git://git.ffmpeg.org/rtmpdump 先看一段通过librtmp.so库下载RTMP源发布的数据的例子，从rtmpdump中抽取出来。使用的大体流程如下： RTMP_Init主要就初始化了一下RTMP*rtmp变量的成员。 RTMP_Se
librtmp 推流H265
最新发布
09-19
librtmp是一个开源库，主要用于实时音视频传输，特别是用于从RTMP服务器推送数据，如Adobe Flash Player支持的RTMP协议。H265，也称为HEVC（High Efficiency Video Coding），是一种高效的视频编码标准，相比传统的H.264，提供了更好的压缩效率和相同的视频质量。 当涉及到librtmp推流H265时，开发者通常会利用它的RTMP推流功能，将经过编码处理的H265视频数据打包成RTMP流发送到支持RTMP接收的应用，比如YouTube、Adobe Media Server等。在实际操作中，你需要： 1. **编码**：首先，对视频源进行H265编码，可以使用FFmpeg这样的工具，它支持多种编码器包括HEVC。 2. **封装**：编码后的H265码流需要通过特定的封装格式，例如flv（Flash Video）或mp4，librtmp可能需要这个封装过的文件作为输入。 3. **设置librtmp连接**：创建librtmp连接，并指定目标RTMP服务器地址和直播流名，同时配置支持H265的内容类型。 4. **推流**：通过librtmp API将封装好的H265数据推送到服务器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值