网易云信自研大规模传输网核心系统架构剖析

最新推荐文章于 2024-09-13 15:56:44 发布

LiveVideoStack_

最新推荐文章于 2024-09-13 15:56:44 发布

阅读量365

点赞数

文章标签：音视频网络架构

本文链接：https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/121394128

版权

本文介绍了网易云信自研的WE-CAN大规模传输网核心系统，该系统通过边缘节点的分布式部署，实现高质量、低成本的网络传输。文章详细阐述了网络层的接入和转发策略，以及控制层的调度和路由优化，强调了网络分层的重要性。传输层基于UDP协议自研可靠传输协议，提供多种策略保证传输质量。应用层包括Message Bus、HTTP Proxy和统一调度服务，满足RTC、IM和直播点播等多种业务需求。WE-CAN通过软件定义网络，有效解决了跨国传输质量和成本问题。

摘要由CSDN通过智能技术生成

随着边缘计算及RTC技术的兴起，业务服务器的边缘化可以带来大量收益：一方面就近接入可以优化客户端上下行质量，另一方面边缘节点可以大幅降低带宽成本。但如何保证相隔千山万水的边缘服务器之间的网络传输质量成了一个难题。本次LiveVideoStackCon 2021北京站，我们邀请到了网易云信服务端首席架构师——吉奇通过分析网易云信自研大规模分布式传输网（WE-CAN）核心系统的架构对上述问题进行了深入探讨。

文 | 吉奇

整理 | LiveVideoStack

大家好，我是吉奇，来自网易云信，今天演讲的主题是网易云信自研大规模传输网核心系统架构剖析。

首先自我介绍一下，我目前在网易云信做服务端架构，原来在美国工作过一段时间，回国之后接触到RTC和通信行业。我本身的经历是一直在做服务端，在分布式后台、网络传输，包括高并发、传输协议等领域都有一定的经验。

1. 云信介绍

云信是网易集24年IM以及音视频技术打造的融合通信云服务专家，稳定易用的通信与视频PaaS平台。相信大部分同行对云信的IM能力应该是很熟悉，其实我们的音视频技术也有很多的积累，最近也有很好的发展。包括现在我们结合网易易盾也有了很多安全方面的一些独到的方案，我们立志要做全行业最好的融合通信PaaS平台。最近我们网易云信也被纳入Gartner 2021年《CPaaS 市场指南》研究报告，还是有很不错的进展的。

2. 项目介绍

我们这个WE-CAN项目是云信自研的传输基座，承担的是网易云信所有业务层需要通信的流量传输的一个大型传输网络。

目前WE-CAN在全球所有主要地区都已经实现节点部署，在国内的话，我们在每一个省份的ISP都有节点，比如你在中国任意一个省份，不管电信、联通还是移动，都可以就近接到一个与你这个ISP匹配的同省的机房。在国外的话，所有大洲都有节点，在东南亚的主要国家，像新兴市场，一些主要的出海目标国家，每一个国家都有可能不止一个节点来做本地覆盖。

WE-CAN作为云信的通用传输基座，它本身是完全独立于业务的，是完全独立的一个通用传输网络。本次分享主要是从网络分层的角度去剖析WE-CAN的架构，因为WE-CAN是一个非常复杂的系统，它有很多的核心组件和边缘辅助组件。所以本次分享不采取分解服务或者部署架构的角度，而是用这样一个比较抽象的网络分层的角度去讲解，会比较易于理解和抓住WE-CAN的关键设计决策。

3. WE-CAN网络分层

这是WE-CAN的一个分层架构，大家可以看一下。

我把WE-CAN分成了这么几层，核心的当然是网络层、传输层和应用层了，某种程度上对应传统的互联网模型的三层。当然不是严格对照。

在分层架构最底下是基建层，基建层都是我们网易自研或者说云信自研的一些基础平台。包括数据平台、管控平台即我们WE-CAN的内部Dashboard、我们自研的一个全球的分布式的缓存系统即所谓存储平台，还有配置平台。

基建层往上的控制层其实和网络层结合非常紧密，可以看到接入、转发、调度和路由这四块是WE-CAN最核心的模块。再上面的传输层主要是一个协议层，网络层和控制层是做路由的，那么传输层就是做QoS和各种各样的策略层。

最上面的应用层是对传输层和网络层能力的封装，做了很多比较抽象的基础服务。业务层是实际各个业务场景中对应用层能力的使用。

4. 为什么要强调网络分层

那么为什么要强调网络分层呢？首先WE-CAN本身就是一个overlay，它本身就是基于公共互联网上的一层。然后网络分层做得好，我认为可以做到各个系统模块各司其职，系统边界比较清晰，并且其实各层有各自不同的传输优化策略，这个后面会展开讲。比如网络层和传输层的优化策略是不一样的，可以做的事情不一样，甚至同样的优化策略如ARQ，在网络层和传输层的实现方式也是不一样的，网络层策略都是转发节点间逐跳的，传输层是接入节点到接入节点之间的。

最后网络分层和解耦做得好，可以支持更多的传输场景。WE-CAN不只是要支持实时音视频通信、低延迟媒体流传输，我们是要做一个通用的传输加速网络，所以分层做得好可以把各层的能力抽象剥离，就可以支持更多的传输场景。

5. 目录

这个是我要讲的顺序，跟刚才的分层顺序有一点调整，把网络层放在前面，控制层放在后面，这样更有利于理解。

6. 网络层

网络层是WE-CAN核心网的入口，WE-CAN的节点数量比较多，报文从边缘节点出来后就直接进入网络层了。

网络层的功能主要就是报文的寻址路由，它会将一个报文从它的上行接入节点投递到目的地下行接入节点去，这是WE-CAN最核心最基础的能力，所以它是架构最复杂、流程最长的一层。

网络层是基于公共互联网提供优质传输能力的。为什么要强调公共互联网这几个字呢？因为这个是我们WE-CAN“软件定义”的特点，意思是我们走的是公网流量，通过软件路由来保障传输质量，在绝大部分场景下我们都用不到专线，在传输层面我们不需要建设大型的中心机房和专门的骨干线路，这些大型基建的建设周期很长并且成本是很高的