jrtplib开源库系列之三：jrtplib发送接收数据流程

说明

前面2篇文章主要说明了如何安装jrtplib库，以及对example1进行了说明，这篇文章主要说下jrtplib库数据的收发流程。

数据收发流程

从例子1就可以很好的说明jrtplib的使用是非常简单的，主要分为以下几步

1. 设置会话参数(比如时间戳，带宽，发送间隔时间参数的设置等)和传输参数(是否使用已有的socket和端口分配等参数)
2. 创建session对象
3. 为session对象添加目的地址
4. 如果作为数据发送方，则调用发送接口发送数据，如果作为数据接收方，则循环接收数据的到来

重要结构体

例子说明

假如现在有一个使用jrtplib库的应用，比如现在有3个参与者，有1个服务端（图上对应A）和2个客户端（B和C），由图可知，每个参与者都会像其他参与者定时发送RTCP包，但是仅仅只有指定的参与者像其他参与者发送RTP包。在使用jrtplib库的方式上，服务器和客户端上基本上一样，都需要创建一个Session对象，在创建session对象的过程中，会负责创建一些列其他重要对象，比如Transmitter对象，RTCPSchduler对象，RTPSource对象，RTPSourceData对象等。下面就简单说说这些对象的作用

Session对象

jrtplib中最重要的对象，一个对话表示了RTP会话。作用于整个RTP的生命周期，负责RTP数据的收发，以及各种对象的管理。也是用户在使用jrtplib库中最频繁使用的对象。主要作用有以下几个方面
（1）基本上决定了所有对象的生命周期，即创建Session时，会相应创建其他对象，Session生命周期结束时，其他对象也会被释放。
（2）传输参数的相关设置：比如目的地址的管理，自己的传输参数（端口，地址等），多播参数，当然底层是调用传输组件进行相应的设置
（3）参与者的管理：在jrtplib中，每个参与者都对应一个数据源对象，并通过数据源列表对象对所有的数据源对象进行管理。
（4）RTCP计划对象管理：决定何时发送RTCP包，发送包给哪些地址等。
(5）数据的收发以及处理：这是最重要的功能，具体的功能由具体的对象去完成。

RTPTransmitter 对象

主要负责数据的收发，这是一个纯虚类， 具体的实现由具体的子类去实现。只要包括以下几个作用：
（1）判断数据是否来自于我们
（2）检测数据的到来
（3）发送RTP数据和RTCP数据
（4）添加，删除目的地址
（5）多播支持
（6）设置指定的地址可访问（白名单和黑名单管理）
（7）获取下一个源包（RTPRawPacket）

RTPPacketBuilder对象

这个类就是构造RTP包了（RTPPacket对象），主要根据包的负载数据，负载类型，以及当前时间戳，ssrc，扩展头数据（可选）等参数进行构造。
时间戳的计算：上一个包的时间戳+这个包的时间戳增量

RTPSessionSources 对象

数据源列表对象，该对象用来管理所有的数据源，以前面的例子来讲，对于参与者(服务器A)来说，在创建Session对象过程中，也会创建一个数据源对象来表示参与者A（根据SSRC来区分），同时当A收到B和C的RTCP数据包时，会将B和C的数据源添加到数据源列表中进行管理。同理，对于B和C来说，一样具有一个数据源列表对象，列表对象管理3个数据源对象。

RTCPPacketBuilder对象

这个类就是构造RTCP复合包对象（RTCPCompoundPacket对象），构造复合包对象的规则请参考规范的6.1章节。由于RTCP包包括SR、RR、SDES、APP、BYE包等类型，因此这个类对象有对各种RTCP包的构造规则。

RTCPScheduler对象

这个对象决定什么时候构造RTCP复合包，并发送给数据源列表中除自己以外的所有其他数据源。详细的规则可以参考规范6.3章节。

相关API

首先对涉及收发数据相关的API进行说明。

Session对象的API接口

SendPacket

SendPacket(const void *data,size_t len, uint8_t pt,bool mark,uint32_t timestampinc)

参数说明

(1) data:数据指针参数，在流媒体应用中，通常代表某个流的负载数据，比如对于H264，data通常为完整的NALU帧或者FU帧(分片单元，如果NALU帧大于MTU,那么需要将一个NALU帧分多次发送)
(2) len:这个参数为data的长度
(3) pt:负载类型，代表是哪种流媒体的数据， 一般分为动态类型(大于等于96的数字，这个由具体的应用去决定属于什么媒体，比如如果在RTSP中要用到jrtplib库，一般会在服务器端通过SDP描述告诉RTSP客户端，然后客户端接收到了该种负载类型就知道对应的是何种媒体数据，RTSP客户端应当如何去解析媒体数据)。静态类型（小于96的数字），具体负载类型代表了哪种媒体是已经被分配好了的，具体参考RTP负载和媒体对应关系。该参数用于设置RTP头的PT部分。
(4)mark:标志位，请参考协议规范RTP头的mark位，对于H264来说，标志位设置为真，代表一个Access unit结束。
(5)timestampinc:时间戳增量，就是发送一次包，时间戳应该增加多少，比如时间戳单位为1/90000（即是说1s中有90000个单元）,如果1s中发送25个包（我们可以看成帧率），那么时间戳增量为3600.

主要作用

就一个作用，发送数据包，如果不看源代码，根据协议规范就知道，发送包肯定是发送的RTP包，
如果这个接口主要实现了：
（1）将data数据添加RTP头，构造RTP包
（2）对发送包做处理（比如加密等），可选操作
（3）给所有的目的地址发送RTP包

流程图

Poll

主要步骤

（1）如果我们不应用PollThread线程去获取数据（即没有使用jthread库），需要我们自己调用该接口去判断是否有数据到来，其中会调用传输组件的Poll去判断是否读取到数据，如果读取到数据，会将数据存放到传输组件的原码包列表中（传输组件的rawpacketlist，每个原码包使用RTPRawPacket来表示，这种包即包括RTCP包，也包括RTP包），流程图如下（以RTPUDPv4Transmitter为例）

（2）调用ProcessPolledData()接口去处理RTPRawPacket包，**注意这个接口我觉得是整个jrtplib中最关键的处理过程，对这个函数掌握了，基本上你就知道什RTP协议是做什么，以及jrtplib的实现思路。**这个接口主要有2个作用
A.解析所有的输入源码包
这里我就说流程图来简单说明下，但是不会做的很详细，详细的会在后续文章中继续说明。

B.判断是否发送RTCP包数据。
参与者随时都可能离开会话，或者长时间没有给其他参与者发送数据（比如上面的A许久没给B和C发送数据，那么B和C的数据源列表中需要将A设置为非发送者等），在jrtplib中，主要有以下几种超时事件：
发送者超时：比如上图中的A许久没给B和C发送数据，那么B和C的数据源列表中在一段时间后会将A的数据源对象设置为非发送者。一般RTP规范一般认为2个周期内没有发送数据，就会被视为非发送者。
成员超时：即一段时间内，该数据源没有像自身发生数据（RTP或者RTCP），一般就会被视为超时，RTP规范认为5个周期内没有发送数据，就会被认为是成员超时，需要从成员列表中删除该数据源
bye成员超时：一般某一个成员在像其他数据源发送BYE包之后，会有一定时间的保留期，如果在这个时间内没像其他数据源发送数据，则被视为这个成员是真正要离开会话了。RTP规范默认为1.
另外还包括SDES note超时和碰撞超时，这里就不介绍了，具体请参考RTP协议规范。
主要流程如下图所示：

总结

本文只是简单介绍了jrtplib数据的收发流程，并没有对代码和详细流程做分析，后面还会细化数据发送和接收数据流程，还会对其中的部分代码进行分析。