webrtc android架构,WebRTC知识整理

WebRTC

WebRTC实现了跨平台的音视频通话

WebRTC的架构

image.png

WebRTC的底层代码是C++实现的 并通过封装提供了iOS Android接口

WebRTC的接入

是否需要下载编译WebRTC源代码

1.如果只是为了集成使用WebRTC的标准API 其实没有必要下载编译WebRTC代码 因为下载编译并不容易

2.除非是为了修改WebRTC的实现

比如Android平台接入时通常都是使用maven的webrtc库,会将视频帧直接渲染到GLSurfaceview,假设我们需要处理视频帧,可以修改webrtc代码 增加获取收到的remote stream的视频帧的接口

不同平台的接入

iOS : github上有编译好的的WebRTC framework

Android : maven上有编译好的WebRTC libjingle_peerconnection.so

浏览器 : JS接口可以直接调用WebRTC API,前提是浏览器支持(chrome,firefox...)

桌面 : WebRTC的跨平台C++接口

WebRTC连接流程

image.png

流程可以大致总结为 :

Stun Server : 用来获取Ice Candidate,Client会和Stun Server交互 从而获取到自己的Ice Candidate(p2p使用)

Signal Server : 转发信令到另一Client

1. ClientA发起Offer

2. ClientB收到Offer 回复Answer

3. ClientA和ClientB发送各自的Ice Candidate给对方 并将接收到的Ice Candidate设置到PeerConnection

任何WebRTC的应用都必须遵守这个流程并确保正确

如果应用时发现无法连接到另外的WebRTC客户端,说明这上面的流程发生了错误 可以一条条检查

附上我的一次WebRTC连接失败的错误分析过程 :

WebRTC 连接失败的分析和定位

WebRTC对象的抽象

1. WebRTC以PeerConnection代表一个连接 显然一个WebRTC的客户端可以拥有多个PeerConnection连接

2. 一个PeerConnection通常带有两个MediaStream 本地的LocalStream和收到的RemoteStream

特殊的单向应用中(比如WebRTC摄像头)可能只有LocalStream 发送给远端

3. 一个MediaStream通常带有一个VideoTrack和一个AudioTrack

MediaStream的组成会影响到Offer和Answer的协商内容(实际上就是SDP)

接入WebRTC的参考

1. 官方的apprtc https://github.com/webrtc/apprtc

2. 移动端的demo

AndroidRTC ：https://github.com/pchab/AndroidRTC.git

iOSRTC ：https://github.com/digixtechnology/iOSRTC.git

ProjectRTC : https://github.com/pchab/ProjectRTC.git