音视频系列：Webrtc音视频通话

音视频通话难点：

1. 音视频编解码原理
2. IP4中，设备在各自的内网，需要p2p打洞
3. 音频降噪和回声消除

信令服务器：

1. 设备连接的socket服务器
2. 传递各个设备之间的信息：传递各个节点的sdp信息，传递ice信息
3. 包含业务功能：如加入、离开房间等

打洞服务器：

为什么打洞？

IP4中，设备在各自的内网，各自的内网不能通信，而想要通信，就需要突破内网限制；

如果用服务器中转，则会加大服务器开销和增加延时；

若不用中转，就需要点对点（p2p）打洞，来实现通信；

NAT

1. 网络地址转换
2. 设备若想链接公网，需要经过路由转换，将私有IP转换为公网IP
3. 在设备和路由中存在IP端口映射表NAPT

如：

1. 设备A的某个应用私有IP端口为：192.168.1.10:9000；
2. 设备A连接的路由器L的公网IP为：200.180.190.11;
3. 那么在路由器L中会有一个端口映射设备A: 200.180.190.11:21111;
4. 200.180.190.11:21111就是设备A的某个应用的公网IP地址和端口的映射；

SDP：

描述了客服端到服务端通信的各个网络地址及端口等信息；

ps:一段文本，就像一个列表，记录了客户端到服务端，中转次数及各个中转点的路由信息；

两个设备实现通信要求：

设备A、设备A的路由AL、设备B、设备B的路由BL；

设备A若想给设备B发消息，AL需要知道B在BL中的IP和端口映射；

同理，设备B若想给设备A发消息，BL需要知道A在AL中的IP和端口映射；

打洞流程：

角色：信令服务器、打洞服务器、设备A、设备A的路由AL、设备B、设备B的路由BL；

1. 通过信令服务器（socket服务器）将设备A到打洞服务器的各个sdp发送给设备B；
2. 通过信令服务器（socket服务器）将设备B到打洞服务器的各个sdp发送给设备A；
3. 设备A尝试发送一条消息到设备B，这条消息是发送不过去的；因为BL里没有A和AL的映射IP和端口；
4. 但是此时AL会在自己的NAPT表中记录B和BL的映射IP和端口；
5. 设备B发送一条消息给设备A，这条消息时可以发送到的。因为AL的NAPT表中有B和BL的映射IP和端口；并且BL会在自己的NAPT表中记录A和AL的映射IP和端口；
6. 此时A和B就可以直接互相发送消息了，不再需要服务器了；

整个过程就是序号1->2->3->4->5->6->7->8>9
过程一：1->2
此过程为用户B向服务器请求向用户A打洞
过程二：3->4
此过程为服务器相应用户B的打洞请求，告诉用户A用户B想与你打洞（数据包中包含用户B的地址信息）。
过程三：5->6
用户A主动发一条信息给用户B，目的是为了使得路由器A中能够有一条关于路由B的IP的路由信息（注意不是用户B，用户B是私有IP），就如图所示，这条信息会被丢弃的，因为路由B的路由表中没有路由A的IP的信息。
过程四：7->8->9
用户B再发一条信息给用户A，因为此时路由A的路由表中有关于路由B的IP的路由信息，此时路由A就能路由给用户A了，至此，用户A就能直接收到用户B发的信息了。注意，此时用户A发给用户B不需要打洞，因为路由B中已经有关于路由A的IP的路由信息了。
 

 参考：P2P打洞服务器与客户端_走在成长的路上-CSDN博客_p2p服务器

webrtc业务流程：

音视频一对一通话、多对多会议都是基于房间进行；

角色：信令服务器S、打洞服务器T、设备A（被请求）、设备A的路由AL、设备B（主请求）、设备B的路由BL；

第一种情况

设备A进入房间时，没有其他设备；

1. 设备A进入房间，信令服务器S给设备A返回设备A的唯一标识符socketId；
2. 设备A开启本地预览：设置视频源、音频源、渲染到surface；
3. 等待获取其他设备发送的请求offer...
4. 准备sdp交换
5. 设备A收到信令服务器S发送来的设备B的socketId和sdp；
6. 设备A请求信令服务器，信令服务器返回设备A到打洞服务器的网络节点各个sdp
7. 设备A设置本地sdp、设置收到的远端sdp;
8. 设备A使用信令服务器S通过收到的socketId将自己的sdp发送给其他设备B；sdp交换完成
9. 开始打洞：ICE交换
10. 设备A通过异步消息获得打洞服务器返回的自己的ICE信息；
11. 设备A通过信令服务器S将ICE信息发送给设备B；
12. 等待设备B连接；
13. ICE交换完成后
14. 获取远端设备B的视频流、音频流，进行解码播放；

第二种情况

设备B进入房间时，已有其他设备，如：设备A...；

此时设备B需要主动去呼叫设备A；

1. 设备B连接信令服务器S；
2. 设备B进入房间，信令服务器S给设备B返回设备B的唯一标识符socketId，和其他存在的设备的socketId列表；
3. 设备B开启本地预览：设置视频源、音频源、渲染到surface；
4. 开始sdp交换
5. 设备B请求打洞服务器T，获取设备B到打洞服务器T的网络节点的各个sdp
6. 设备B设置自己的sdp；
7. 设备B使用信令服务器S通过socketId列表将自己的sdp发送给其他设备A；
8. 设备A收到sdp后，设备A使用信令服务器S通过设备B的socketId，将自己的sdp发送给其他设备B；
9. 设备B设置收到的远端sdp（可能有多个）；sdp交换完成
10. 开始打洞：ICE交换
11. 设备A通过异步消息获得打洞服务器返回的自己的ICE信息；
12. 设备A通过信令服务器S将ICE信息发送给设备B；
13. 设备B根据收到的ICE信息去发送一个请求；此时设备B链接的路由器BL里就有了设备A在路由AL的IP和端口映射信息；ICE交换完成
14. 设备B链接其他设备的视频流、音频流，进行解码播放；