OPPO VPC 实践探索

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

问题描述	解决方案
统一的IP地址管理机制, 每个控制器需要重复相同的配置操作	集中到超级控制器vnCenter上处理，由vnCenter自动分发给其他VPC集群
无法快速查询虚拟路由器状态,运维效率低	增强控制器可观测性，增强运维能力
控制器更新流表慢	自研控制器
缺乏南北向安全防护	VPC网关支持ACL功能
VPC无法跨集群互访	实现VPC跨集群互访
VPC不支持裸金属	用硬件网关实现裸金属的VPC隔离

表1  问题与解决方案对照

03****VPC 2.0方案

VPC2.0主要组件系统如图1所示。

图1   VPC系统组件图

Cloud控制台提供统一业务入口和便捷的界面操作，业务操作可视化，关键数据存于数据库中，便于维护和使用。

vnCenter用于给控制器VPC Server分发统一的配置、实现业务编排及统一的IP地址管理。

VPC Server 是整个系统的中心，对云平台提供高效，简洁的业务接口。是整个系统的消息转发枢纽，通常称为控制器。

HostController是位于计算节点的OVS (OVS, Open vSwitch)控制器，它指导OVS如何转发业务报文。HostController与VPC Server一起称作VPC网络的中枢，承担网络转发的重要职责。

VPC CNI Agent负责计算节点网卡资源的管理和分配，同时对云平台提供了创建、删除等业务接口。它采用智能网卡虚拟化**(SR-IOV)**技术为虚拟实例分配高速网卡，实现虚拟实例的网络加速。

VPC网关分为东西向的分布式网关和南北向的集中网关。分布式网关提供不同子网的通信功能，解决了集中网关的单点故障问题。南北向的集中网关支持VXLAN隧道，实现虚拟网络和物理网络的互通，并且支持横向扩展和DPDK加速技术。网关还支持ACL功能，集中网关可以是自研产品，也可以是第三方支持EVPN-VXLAN协议的硬件设备。

3.1 控制器

3.1.1 增强业务运维能力和可观测性

控制器支持子网IP地址资源的状态自动更新。若即将没有地址，则触发子网扩容IP告警。运维人员收到告警后，安排扩容，关闭告警。

**观测性增强包括计算节点和网关的状态跟踪。**控制器不断监控系统计算节点的消息，如果没有及时收到消息，则显示其状态为Inactive状态， 如一直有消息更新，则显示其为Active状态。再结合VPC网关，计算节点IP可以迅速构建出一幅业务的网络拓扑，便于故障排查和问题定位。除此之外，还可以支持VPC网关的状态查看。

控制器业务日志入库，定期搜索异常日志，触发告警，运维人员收到告警后，处理潜在风险，关闭告警。

3.1.2 OVS流表计算优化

原有的OVS流表计算引擎是一个单线程的Python程序，无法并行计算流表。网络规模大时，计算时间太长，容易引起业务短暂中断。为此我们采用Go语言，重新设计了一套OVS流表的生成算法，自主开发了HostController程序。其支持流表的并行计算，简化了业务逻辑，提高了流表计算效率。满足原有业务低时延的要求。按需模式经过优化后的首包时延可以降为原来的十分之一。

3.1.3 增强VPC网关接入能力

虽然自研VPC软件网关具有弹性和性能兼顾的综合优势，但其单台转发容量受制于CPU的主频和网卡的数目。在大数据和AI计算业务场景下，并不具备优势。因而我们开发了采用第三方硬件设备充当VPC网关的功能。

采用第三方硬件网关除了可以增加系统的吞吐量外，还可以借助**硬件网关的VXLAN隔离能力，将裸金属纳入VPC逻辑范围内，实现虚拟机、容器、裸金属统一组网。**如图2所示展示了VPC混合组网的场景。

图2 VPC混合组网

VPCServer引入GoBGP后具备了和通用硬件设备交换EVPN-VXLAN路由的能力，从而可以实现裸金属和虚拟实例的隔离访问的功能。

对于一般的互联网数据中心(IDC,Internet Data Center)物理区，其和VPC网络之间是路由互通模式，可以在网关应用特定的防火墙隔离。

3.1.4 增强VPC网关安全能力

基于OVS实现的安全组功能可以很好地实现东西向的安全访问，但对南北向的安全防控，却有点力不从心。为此我们开发了网关的安全访问控制控制(ACL)功能。其基于五元组的方式实现防火墙级的安全保障。VPC控制台支持ACL的配置和查看，并且支持复制功能，高效实用,有利于业务维护。

如图1所示，VPC控制台可以针对每个VPC配置单独的ACL策略，并自动同步到VPC网关上，用于实现防火墙的功能。

自研VPC网关的ACL功能采用用户态DPDK技术实现加速，并不会因为添加了ACL而带来转发性能的明显下降。

3.2 vnCenter 业务编排能力

3.2.1 统一编排所有控制器

图3  vnCenter统一管控VPC控制

如图3，对于一些通用的配置可以通过vnCenter操作，实现一次配置所有集群生效，高效实现配置的同步。

例如常见的租户信息，用户信息以及用户和VPC的关系，这些都是全局统一的，一次配置可以实现多个集群/可用区都可以使用，不需要每个集群单独配置。

vnCenter上可以查看所有VPC的可用子网信息，通过vnCenter上可以实现VPC网络地址的统一管理和分配，避免地址的冲突。

3.2.2 多集群业务编排能力

图4   DCI互通业务编排

**vnCenter可以在多个集群之间实现VPC互通业务，并不需要专用的硬件设备。**可以很好的支持业务的备份和集群多活功能。如图3所示。VPCServer在收到vnCenter的集群间业务编排后，开始进行网络拓扑的更新，并指导HostController完成集群间的VPC互通。

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！