网络流量采集（三）——基于云环境的虚拟化流量采集

引言

近年来，云服务在我国各行业中的占比越来越大。技术企业纷纷抢占新一轮技术革命先机，积极进行数字化转型，加大对云计算、大数据、人工智能、区块链和物联网等新技术的研究和应用，提升科技服务能力。随着云和虚拟化技术的不断发展，数据中心越来越多应用系统从原来的物理机迁移至云平台，数据中心的云环境东西流量呈显著增长。但是传统物理流量采集网络无法对云环境东西流量进行直接采集，导致云环境中的业务流量成为盲区。实现对云环境东西流量的数据提取成为必然趋势，引入新的云环境东西流量采集技术以使部署在云环境的应用系统同样可以拥有完善的监控支持，在发生问题和故障时可以采用抓包分析的手段进行问题的分析和数据流的跟踪。

1. 云环境东西流量无法直接采集使在云环境的应用系统无法部署基于实时业务数据流的监控探测，运维人员不能及时发现云环境中的应用系统的业务真实运行情况，给云环境中的应用系统的健康稳定运行带来一定隐患。
2. 云环境东西流量无法直接采集使云环境中的业务应用发生问题时无法直接提取数据包进行分析，给故障定位带来一定困难。
3. 随着网络安全和各类审计要求越来越严格，如BPC应用交易监控、IDS入侵检测系统、邮件以及客服录音审计等系统，对云环境东西流量的采集需求也越来越迫切。

基于以上情况分析，实现对云环境东西流量的数据提取成为必然趋势，引入新的云环境东西流量采集技术以使部署在云环境的应用系统同样可以拥有完善的监控支持，在发生问题和故障时可以采用抓包分析的手段进行问题的分析和数据流的跟踪。实现云环境东西流量可提取可分析，是保障云环境部署的应用系统稳定运行的有力法宝。

虚拟网络流量采集的关键指标

1. 采集性能

东西向流量占据过半的数据中心流量，实现全量采集需要高性能的采集技术作为支撑。在采集的同时，针对不同业务，还需要完成去重、截断、脱敏等其他预处理工作，进一步增加了对性能的要求。

1. 资源开销

多数东西向流量采集技术都需要占用本可应用于业务的计算、存储和网络资源。除了尽可能少地消耗这些资源之外，仍需要考虑对采集技术实施管理的开销。尤其当节点规模扩大之后，如果管理成本也同样呈现线性的上升趋势。

1. 侵扰程度

当前常见的采集技术，往往需要在hypervisor或相关组件上添加额外的采集策略配置。这些策略除了存在与业务策略的冲突隐患之外，往往还会进一步增加hypervisor或其他业务组件的负担，影响服务SLA。

从上面的描述可以看出，云环境下的流量采集重点要关注虚拟机之间东西向流量的采集以及性能问题。同时鉴于云平台的动态性特点，云环境下的流量采集需突破现有传统交换机镜像的模式，实现灵活、自动化的采集和监控部署功能，以匹配云网络的自动化运维目标，综合考虑云环境下的流量采集需实现如下目标：

1. 实现虚拟机之间东西向流量的采集功能
2. 采集部署到计算节点上，采用分布式采集架构，规避通过交换机镜像带来的性能和稳定性问题
3. 可动态感知云环境中虚拟机资源的变化，采集策略可随虚拟机资源的变化进行自动调整
4. 采集工具自身需具备过载保护机制，最小化对服务器的影响
5. 采集工具自身具备流量优化功能
6. 采集平台可对采集的虚拟机流量进行监控

云环境虚机流量采集模式的选择

云环境中虚机流量采集需将采集探针部署到计算节点上，根据计算节点上可部署采集点的位置，云环境下的虚拟机流量采集模式可分为Agent模式、虚机模式、宿主机模式三种，对比说明如下：

虚机模式：在云环境每台物理宿主机上安装统一的采集虚拟机并在采集虚拟机上部署采集软探针，通过在虚拟交换机上镜像虚拟网卡流量的方式将该宿主机上的流量镜像给采集虚拟机，然后由该采集虚拟机通过专用网卡传输至传统物理流量采集平台，再分发至各监控分析平台。优点是软交换机旁路镜像，对现有业务网卡和虚拟机无侵扰，通过一定的手段也可实现对虚机变化的感知和策略的自动迁移，缺点是采集虚拟机被动接收流量无法实现过载保护机制，可镜像的流量大小由虚拟交换机性能决定，对虚拟交换机稳定性有一定影响，KVM环境中需由云平台统一下发镜像流表，管理维护复杂，特别是宿主机故障时，采集虚机等同于业务虚机也会随着其它虚机迁移到不同的宿主机上，此时采集策略和采集虚机如何管理维护目前来看还没有较好的解决方案。

Agent模式：在云环境中的每一台需采集流量的虚拟机上安装采集软探针（Agent代理），通过Agent代理软件提取云环境东西向流量，分发给各分析平台，优点是与虚拟化平台无关，不影响虚拟交换机性能，可随虚机迁移，可作流量过滤，缺点是需管理的Agent过多，故障时无法排除Agent自身的影响，需共用现有生产网卡吐流量，可能会对业务交互产生影响，新建虚机需同步部署Agent。

宿主机模式：通过在云环境每台物理宿主机上部署独立采集软探针，以进程模式工作在宿主机上，并将采集的流量传输至传统物理流量采集平台。优点是完全旁路的机制，对虚机、业务网卡、虚机交换机均无侵扰，采集方式简单，管理方便，无需维护独立虚机，轻量级且采集软探针可实现过载保护。由于是作为宿主机上的进程，可对宿主机和虚机资源、性能等进行监控，指导镜像策略的部署。缺点是需消耗一定宿主机的资源，重点需关注性能影响，另外可能存在某些虚机化平台不支持宿主机上部署采集软件探针的情况。

从目前业界使用的情况，虚机模式在公有云有应用，Agent模式和宿主机模式在私有云都有一些用户。