h264视频流，aac音频流（g711a转码）推送至rtmp服务器

最新推荐文章于 2023-08-04 11:01:14 发布
最新推荐文章于 2023-08-04 11:01:14 发布
阅读量9.2k 收藏 13
点赞数 2
分类专栏： aac推流 rtmp直播 h264推流 文章标签： rtmp h264 aac 直播
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1114598932/article/details/43797695
版权

这篇博客是写给新手的，我就不介绍rtmp流的格式了，因为是直接使用rtmp的库的，rtmp的格式对我的程序没有什么影响。对于h264视频流和aac音频格式简要的介绍一下。

h264视频格式:

下图是h264的视频序列，但是这样描述的不太好（对我而言）

h264视频码流

sps pps I 帧 B帧 ……P帧
sps pps I 帧 B帧 ……P帧
sps pps I 帧 B帧 ……P帧

就像上面一样，只不过B帧和P帧之间可能有其他的不同数目的B帧和P帧，但是一定是I帧开始，P帧结束，然后再来一个类似的结构，然后就是区分不同的帧的类型了。
首先说一下我的rtmp封包的处理原则（所谓的处理原则其实就是rtmp包体前封装不同的数据）对于未列举的数据帧不太重要，就不用考虑其封包规则。

  • 对于每个NAL块的标识头都去掉，因为这部分信息对rtmp流服务器没用
  • 对sps、pps单独处理，把sps、pps封成一个rtmp包发送出去，这部分需要添加AVCDecodeConfigurationRecord，这个的具体含义，有兴趣的可以去查查。
  • 对于I帧区别对待，因为I帧是关健帧（如果I帧丢失，I帧后面的都要丢掉，直到下一个I帧，但是这部分我们不用管）
  • 其他的数据就按照普通数据的处理
知道了结构我们就可以对H264视频流进行封包了
  • 首先对RTMPserver初始化。
int RTMP264_Connect(const char *push_url)
{
    //由于摄像头的timestamp是一直在累加，需要每次得到相对时间戳
    //分配与初始化
    rtmp = RTMP_Alloc();
    RTMP_Init(rtmp);

    //设置URL
    if (RTMP_SetupURL(rtmp, push_url) < 0)
    {
        //log(LOG_ERR, "RTMP_SetupURL() failed!");
        RTMP_Free(rtmp);
        return -1;
    }

    //设置可写，即发布流，这个函数必须在连接前使用，否则无效
    RTMP_EnableWrite(rtmp);

    //连接服务器
    if (RTMP_Connect(rtmp, NULL) < 0)
    {
        //log(LOG_ERR, "RTMP_Connect() failed!");
        RTMP_Free(rtmp);
        return -1;    
    }

    //连接流
    if (RTMP_ConnectStream(rtmp, 0) < 0)
    {
        //log(LOG_ERR, "RTMP_ConnectStream() failed!");
        RTMP_Close(rtmp);
        RTMP_Free(rtmp);
        return -1;
    }
    return 0;
}
  • 初始化之后对h264数据封包（代码基本固定）
int SendVideoSpsPps(unsigned char *sps, int sps_len, unsigned char *pps, int pps_len, int timestamp, const char *push_url)
{
    RTMPPacket *packet = NULL; //rtmp packet
    unsigned char *body = NULL;
    int i;
    packet = (RTMPPacket *)malloc(RTMP_HEAD_SIZE + 1024);
    memset(packet, 0, RTMP_HEAD_SIZE + 1024);
    packet->m_body = (char *)packet + RTMP_HEAD_SIZE;
    body = (unsigned char *)packet->m_body;
    if(sps[2] == 0x00)
    {
        sps += 4;
        sps_len -= 4;
    } else if (sps[2] == 0x01)
    {
        sps += 3;
        sps_len -= 3;
    }
    if(pps[2] == 0x00)
    {
        pps += 4;
        pps_len -= 4;
    } else if (pps[2] == 0x01)
    {
        pps += 3;
        pps_len -= 3;
    }


    i = 0;
    body[i++] = 0x17;
    body[i++] = 0x00; 
    body[i++] = 0x00;
    body[i++] = 0x00;
    body[i++] = 0x00;

    // AVCDecodeConfigurationRecord
    body[i++] = 0x01;
    body[i++] = sps[1];
    body[i++] = sps[2];
    body[i++] = sps[3];
    body[i++] = 0xff;

    //sps
    body[i++] = 0xe1;
    body[i++] = (sps_len >> 8) & 0xff;
    body[i++] = sps_len & 0xff;
    memcpy(&body[i], sps, sps_len);
    i += sps_len;

    //pps
    body[i++] = 0x01;
    body[i++] = (pps_len >> 8) & 0xff;
    body[i++] = (pps_len) & 0xff;
    memcpy(&body[i], pps, pps_len);
    i += pps_len;

    packet->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    packet->m_nBodySize = i;
    packet->m_nChannel = 0x04;
    packet->m_nTimeStamp = timestamp & 0xffffff;
    packet->m_hasAbsTimestamp = 0;
    packet->m_headerType = RTMP_PACKET_SIZE_MEDIUM;
    packet->m_nInfoField2 = rtmp->m_stream_id;

    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("sps pps trying to connect to rtmp server...\n");
    }
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("sps pps trying to connect to rtmp server...\n");
    }
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("sps pps trying to connect to rtmp server...\n");
    }
    //调用发送接口
    int nRet = RTMP_SendPacket(rtmp, packet, true);
    free(packet);

    return nRet;
}
  • 处理普通视频数据
int send_rtmp_video(unsigned char* buf, int len, int timestamp, const char *push_url)
{
    int type;
    long timeoffset;
    RTMPPacket *packet;
    unsigned char *body;

    timeoffset = timestamp;

    //去掉帧界定符
    if(buf[2] == 0x00)
    {
        buf += 4;
        len -= 4;
    } else if (buf[2] == 0x01)
    {
        buf += 3;
        len -= 3;
    }
    type = buf[0]&0x1f;

    packet = (RTMPPacket *)malloc(RTMP_HEAD_SIZE + len + 9);
    memset(packet, 0, RTMP_HEAD_SIZE);

    packet->m_body = (char *)packet + RTMP_HEAD_SIZE;
    packet->m_nBodySize = len +9;

    // send video packet
    body = (unsigned char *)packet->m_body;
    memset(body, 0, len + 9);

    // key frame
    body[0] = 0x27;
    //if (type == NAL_SLICE_IDR) type = 5是关键帧
    // 在此处还可以判断是否是SEI帧，如果是丢掉，否则播放的时候会报错（虽然不影响播放效果）
    if (type == 5)
    {
        body[0] = 0x17;
    }else if (type == 6){
        free(packet);
        return 0;
    }

    body[1] = 0x01; //nal unit
    body[2] = 0x00;
    body[3] = 0x00;
    body[4] = 0x00;

    body[5] = (len >> 24) & 0xff;
    body[6] = (len >> 16) & 0xff;
    body[7] = (len >>  8) & 0xff;
    body[8] = (len) & 0xff;

    // copy data
    memcpy(&body[9], buf, len);

    packet->m_hasAbsTimestamp = 0;
    packet->m_packetType = RTMP_PACKET_TYPE_VIDEO;
    packet->m_nInfoField2 = rtmp->m_stream_id;
    packet->m_nChannel = 0x04;
    packet->m_headerType = RTMP_PACKET_SIZE_LARGE;
    packet->m_nTimeStamp = timeoffset & 0xffffff;

    // 调用发送接口
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("video normal data trying to connect to rtmp server...\n");
    }
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("video normal data trying to connect to rtmp server...\n");
    }
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("video normal data trying to connect to rtmp server...\n");
        if (!RTMP_IsConnected(*rtmp))
            return -1;
    }
    int nRet = RTMP_SendPacket(rtmp, packet, true);
    free(packet);
    return nRet;
}
接下来是针对音频数据了

aac发送须知

  • 发送音频包之前要先发送AudioDecoderSpecificInfo
  • 音频包分隔单元前7个字节是没有用的，直接去掉
  • 在封装到rtmp流时，发送AudioDecoderSpecificInfo时，rtmp包主体前要添加0xAF 00，普通数据包体前添加0xAF 01，我就当时没注意，搞了好长时间都没声音，还是同事发现的。
  • 发送aac AudioDecoderSpecificInfo
int rtmp_sendaac_spec(unsigned char *spec_buf,int spec_len, int timestamp, const char *push_url)
{
    //if (NULL == spec_buf)
    //{
    //    printf("get spec_buf badly\n");
    //    return -1;
    //}
    RTMPPacket * packet;
    unsigned char * body;
    int len;

    len = spec_len;  /*spec data长度,一般是2*/

    packet = (RTMPPacket *)malloc(RTMP_HEAD_SIZE+len+2);
    memset(packet,0,RTMP_HEAD_SIZE);

    packet->m_body = (char *)packet + RTMP_HEAD_SIZE;
    body = (unsigned char *)packet->m_body;

    /*AF 00 + AAC RAW data*/
    body[0] = 0xAF;
    body[1] = 0x00;
    memcpy(&body[2],spec_buf,len); /*spec_buf是AAC sequence header数据*/
    //memcpy(&body[2], spec_buf, spec_len);

    packet->m_packetType = RTMP_PACKET_TYPE_AUDIO;
    packet->m_nBodySize = len + 2;
    packet->m_nChannel = 0x04;
    packet->m_hasAbsTimestamp = 0;
    packet->m_nTimeStamp = timestamp&0xffffff;
    packet->m_headerType = RTMP_PACKET_SIZE_LARGE;
    packet->m_nInfoField2 = rtmp->m_stream_id;

    /*调用发送接口*/
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("audio spec trying to connect to rtmp server...\n");
    }                          
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("audio spec trying to connect to rtmp server...\n");
    }                          
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf("audio spec trying to connect to rtmp server...\n");
        if (!RTMP_IsConnected(*rtmp))
            return -1;
    }                          
    int nRet = RTMP_SendPacket(rtmp, packet, true);
    free(packet);
    return nRet;    
}

其中有必要解释一下spec_buf和spec_len就是AudioDecoderSpecificInfo
可以通过faacEncGetDecoderSpecificInfo得到。对于一般情况44100Hz双声道，这个值是0x1210

char *buf;
int len;
faacEncGetDecoderSpecificInfo(fh,&buf,&len);

memcpy(spec_buf,buf,len);
spec_len = len;

/*释放系统内存*/
free(buf);
  • 对于其他普通的音频数据
int send_aac_audio(unsigned char *buf, int len, int timestamp, const char *push_url)
{

    // 去掉前七个无用字节
    buf = buf + 7;
    len = len - 7;
    long timeoffset;
    RTMPPacket *packet;
    unsigned char *body;
    timeoffset = timestamp;
    packet = (RTMPPacket *)malloc(RTMP_HEAD_SIZE + len + 2);
    memset(packet, 0, RTMP_HEAD_SIZE);
    packet->m_body = (char *)packet + RTMP_HEAD_SIZE;
    body = (unsigned char *)packet->m_body;
    memset(body, 0, len + 2);
    body[0] = 0xAF;
    body[1] = 0x01;
    memcpy(&body[2], buf, len);

    packet->m_body = (char *)packet + RTMP_HEAD_SIZE;
    packet->m_nBodySize = len + 2;
    packet->m_hasAbsTimestamp = 0;
    packet->m_packetType = RTMP_PACKET_TYPE_AUDIO;
    packet->m_nInfoField2 = rtmp->m_stream_id;
    packet->m_nChannel = 0x04;
    packet->m_headerType = RTMP_PACKET_SIZE_MEDIUM;
    packet->m_nTimeStamp = timeoffset & 0xffffff;

    // 调用发送接口  
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf(" audio trying to connect to rtmp server...\n");
    }                          
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf(" audio trying to connect to rtmp server...\n");
    }                          
    if (!RTMP_IsConnected(rtmp))
    {
        RTMP264_Connect(push_url);
        printf(" audio trying to connect to rtmp server...\n");
    }                          
    int nRet = RTMP_SendPacket(rtmp, packet, true);
    free(packet);
    return nRet;
}

在此有必要说一下rtmp服务器不清楚是否支持线程安全，所以最好采用队列发送，另外如果出现一下错误，一定要记得检查一下时间戳的问题

  • ERROR: WriteN, RTMP send error 32 (136 bytes)
  • ERROR: WriteN, RTMP send error 32 (39 bytes)

  • ERROR: WriteN, RTMP send error 9 (42 bytes)

    音视频在一个队列里面发送也会出现时间戳的问题，音视频的时间戳相差时间不要太大，要不然就会报以上错误。

最后说一下g711a转码的问题，我是直接调用的转码库，大家可以搜一下，估计都比我的要好，因为我的库预测是内部人员写的，到现在还出现内存泄露的问题，估计到时候我还要改一下。
参考文章
l1114598932
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
g711a转码AAC.zip
10-14
使用开源库EasyAACEncoder进行G711A转码AAC的具体按理，能直接移植使用，经过调试验证OK.
RTMP/RTSP推流组件推送G711到EasyDarwin
12-03
介绍一个基于C++开发的RTSP/RTMP推流组件PushStream，PushStream推流基础组件是一款推送流媒体音/视频流给标准RTSP流媒体服务器 (如EasyDarwin、Wowza) 或者RTMP流媒体服务器 (如Nginx) 的流媒体推送库
G711打包RTP发送VLC播放
11-27
DEMO程序采用JRTPLIB实现 ，把G711音频数据打包成RTP发送到指定端口。
G711A G711U语音打包长度和RTP timestamp增量
u012459550的博客
08-04 812
G.711是一种由国际电信联盟（ITU-T）制定的音频编码方式，又称为ITU-T G.711。G.711 标准下主要有两种压缩算法。一种是µ-law algorithm （又称often u-law, ulaw, mu-law），主要运用于北美和日本；另一种是A-law algorithm，主要运用于欧洲和世界其他地区。其中，后者是特别设计用来方便计算机处理的。
AAC / G711A / PCM 音频格式解析
孤独冰刃的博客
08-19 1772
AAC / G711A / PCM 音频格式解析 技术标签： c  音频  android Android利用AudioTrack录制和播放PCM格式音频： public class PCMTalk { private AudioRecord audioRecord; private int sampleRate; private int channel; private ByteBuffer recordBuf; ..
rtmp对g711a、g711u音频编码封装格式的抓包，视频为h264
08-01
此抓包为rtmp对g711a、g711u的封装，废了好大劲才把对g711的支持给搞出来，在adode官方播放器可以正常播放，无杂音，相当于给点辛苦分吧
关于linux下librtmp推流开发的几点思考
baidu_30879635的博客
10-24 3585
关于linux下librtmp推流开发的几点思考1阻塞和非阻塞的问题2发送音频G711A的问题3视频帧推流抓包的问题4librtmp库writeN源码的问题 1阻塞和非阻塞的问题 库架构是阻塞的，目前如果将socket全改为非阻塞出现一堆问题，因为我主要使用推流的功能，所以考虑只把send用非阻塞，增加发送失败的errno判断，如果全部改为非阻塞，好像代码改动量挺大？connect的错误处理、send、recv的处理都要添加东西。 2发送音频G711A的问题 我单纯发送G711A的数据，可能是我的服务器兼容
G711转AAC代码总结【转】
shareinfo2018
08-30 5988
来自：http://blog.csdn.net/qq_24551315/article/details/51134999 思路: 将G711转为PCM , 然后将PCM数据转为AAC, G711转为PCM,可以使用上一篇中讲到的方式, 而PCM转AAC(ADTS),采用的是faac这个开源库 这里只讲怎么实现, 了解更详细的内容,则需要自己查找学习了. 直接上代码.
FFmpeg 内存H264+PCM发布RTMP
RzzZ的博客
08-27 2034
背景 因为项目需要，得从外部获取视频264和音频PCM或者g711编解码数据，然后发布成rtmp出来。目前，网上似乎找不到这样的文章，很多发布RTMP都是用从音视频文件读取后再发布出来，因此记录分享，若有不对的地方，欢迎批评指出。 思路 做这个项目，大体思路是参考FFmpeg的muxing.c。muxing.c主要做的就是输出一个音视频格式，其中它的音频和视频数据都是通过算法生成原始的数据（YUV...
报错：Failed to start the file channel
u012447842的博客
11-05 5084
flume Failed to start the file channel 29 Oct 2019 11:48:18,348 ERROR [lifecycleSupervisor-1-0] (org.apache.flume.channel.file.Log.replay:502) - Failed to initialize Log on [channel=wangsu1Channel]...
g711播放器和各种格式（G711A,G711U，PCM）的音频文件
04-06
用MFC编写的G711播放器，支持G711A ,G711U，PCM格式的音频文件，内有各种格式（8k，11.025k,16k,44.1k ）的音频文件
g711音频文件测试用
09-14
pcmu g711 音频文件，测试用。8000Hz
Channel
08-04
NULL 博文链接：https://java12345678.iteye.com/blog/2018413
音频处理基础包括pcm/wav/aac/G711a/G711u
09-17
介绍音频处理基础知识，介绍常见的音频问题处理。主要包含以下内容 WAV头解析并保持PCM,PCM文件加WAV头,ADTS格式AAC帧获取,PCM转G711A/G711U
海思G711A转AAC源码库、源码及PCM音频文件及G711A音频文件
07-11
海思G711A转AAC源码库、源码及PCM音频文件及G711A音频文件
g711a(PCMA)+H264合成MP4代码
01-10
g711a(PCMA)转g711(PCM)+H264合成MP4代码，经过测试ok
G726、G711、G711A转换为AAC
11-01
可以将G726、G711、G711A等音频文件转换为AAC文件，里边包含demo
g711a_to_acc.zip_AAC g711a_G711A_aac_rtp
09-25
基于rtp的g711a数据转为aac格式
ffmpeg 推流rtmp封装G711A
最新发布
01-09
ffmpeg可以通过以下命令将G711A编码的音频数据推流到RTMP服务器： ```shell ffmpeg -f s16le -ar 8000 -ac 1 -i audio.pcm -c:a pcm_mulaw -f flv rtmp://server/live/stream ``` 其中，`audio.pcm`是G711A编码的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值