qq_41681715的博客

音视频直播或者视频会议场景中，遇到的后入的客户端首屏画面需要过一会才能出来，可能是先黑屏一会，然后再看到真实的画面。这篇文章仅仅探讨下首屏秒开用到的技术，有兴趣的同学可以一块探讨探讨。

1、登录http://files.freeswitch.org/freeswitch-releases/下载freeswitch-1.10.6.-release.tar.gz压缩包，然后上传到centos7服务器上解压2、

由于网上写rtmp协议建立过程的文章比较多，这里就不再赘述，直接从发送发送音频包和视频包写起。 如果rtmp在推流链路或者拉流链路上要发送音频包和视频包数据，在发送音视频包前需要先发送onMetaData元数据包，告诉接收方发送视频的宽高信息，以及声明音频和视频的CodecID，如下图：根据flv_v10_1.pdf的描述，aac音频的SoundFormat为10，即上图中的audiocodecid的值，flv文档部分截图如下：H264视频的CodecID为10，即rtm...

funcUnpackRTP2H264(rtpPayload[]byte)[]byte{iflen(rtpPayload)<=0{returnnil}varout[]bytefu_indicator:=rtpPayload[0]//获取第一个字节fu_header:=rtpPayload[1]...

H265 NALU类型简单介绍：F:必须为0，表示有效；为1的话表示无效。Type:6-bits NALType 确定NAL的类型，其中VCL NAL和non-VCL NAL各有32类。0-31是vcl nal单元；32-63，是非vcl nal单元。VCL是指携带编码数据的数据流，而non-VCL则是控制数据流。LayerID：表示NAL所在的Access unit所属的层，该字段是为了HEVC的继续扩展设置。也就是目前都是0，以后的扩展可能会用到。TID：3 bits通常情况下，F

下面我们先看下一次呼叫中SDP的部分信息：m行属性信息，其中video代表视频，10012代表传输视频的rtp端口为10012，RTP/AVP中AVP代表音视频配置，后面的数字96 110 111 112 113表示不同视频编码类型(RTP传输视频时，RTP头中的payloadType), 视频发送方按照对方声明对应的编码类型的PT值来发送RTP；b行属性表示带宽，m行下面的小b表示本通道发送码流的最大带宽，单位为kb，b的值有三种，CT：表示音频和视频的总带宽，一般在所有m行的之前声明；AS和

NACK全称Negative acknowledgements，相关具体描述可以查看rfc4585(NACK)文档。如果音视频收发双发都支持RTCP-NACK，当接收端认为发送端过来的RTP数据有丢包，这时接收端会向RTCP(NACK)的报文，请求发送端发送网络传输过程中丢掉的RTP数据包，同一个RTCP-NACK反馈包，可以请求发送端重传多个RTP包，下面主要讲下NACK格式的RTCP报文的主要组成部分：typedef struct rtcp_header{#if __BYTE_ORDER ==

做音视频的同学应该都知道，基于RTP/RTCP传输流媒体，难点在于怎么把Qos做好。比较常用的基于RTCP反馈机制的Qos策略有NACK、PLI和FIR，再网络比较拥塞的情况下，使用NACK、PLI或FIR机制，可能不会改善网络拥塞情况，反而可能会增加网络拥塞的程度，这时根据网络带宽的具体情况，适当调整发送码流可能会达到更好的效果，这里我们主要说下RTCP的REMB，根据REMB文档的规范https://tools.ietf.org/pdf/draft-alvestrand-rmcat-remb-03.pd

音视频在网络上进行传输，特别是公网上，往往需要进行NAT穿越，网上讲解NAT穿越的博客有很多，这里就不对NAT的原理及NAT的类型就行介绍了，接下来重点讲解下RTP/RTCP端口复用和端口不复用的区别。 webrtc的NAT穿越是基于ICE策略，ICE需要收集候选人，在收集候选人时：如果RTP和RTCP使用不同的端口，那么两个组件都需要进行连接检查；如果RTP/RTC...