在具有数百个路由器的大型网络上收集流十分具有挑战性。除了要达到收集的流量数量之外,另一个关键点是能够以简单而有效的方式将信息可视化。ntopng 允许您创建多达 32 个虚拟流收集接口,可用于避免合并收集的流:然而,当从 100 多个路由器收集流时,还是不够。在最新的 ntopng 和 nProbe 开发版本(即将发布稳定版)中,我们实现了观察点的概念,在IPFIX 中,它被定义为网络中可以观察到数据包的位置。
我们要解决的问题是:如何对来自同一站点的流进行聚类,而不管发起它们的探测 IP 如何,避免将它们与来自其他站点的流合并,但仍然有能力将它们作为一个整体查看收集流的接口级别。每个 nProbe 实例都可以配置为为唯一标识站点的观察点 Id 设置一个数值。根据站点大小,一个站点可以有一个或多个探针。在 nProbe 中,观察点使用 -E 标志设置,如下所示:
罗马站点:
nprobe -E 0:1234 --zmq tcp://192.168.1.100:1234 --zmq-probe-mode -i eth1
nprobe -E 0:1234 --zmq tcp://192.168.1.100:1234 --zmq-probe-mode -i eth2
nprobe -E 0:1234 --zmq tcp://192.168.1.100:1234 --zmq-probe-mode -i eth3
巴黎站点:
nprobe -E 0:1235 --zmq tcp://192.168.1.100:1234 --zmq-probe-mode -i eno1
柏林站点:
nprobe -E 0:1236 --zmq tcp://192.168.1.100:1234 --zmq-probe-mode -i enp2s0f0
nprobe -E 0:1236 --zmq tcp://192.168.1.100:1234 --zmq-probe-mode -i enp2s0f1
中央流量收集器
ntopng -i tcp://92.168.1.100:1234c
当流由 nProbe 发送时,它们被唯一标记为观察点 ID,在流收集期间由 ntopng 处理并在 Web 界面中报告。
在顶部菜单栏中,ntopng 在下拉菜单中列出了所有已知的观察点 ID:这样网络分析师可以选择他想要可视化的观察点,同时隐藏来自不同观察点的流。在左侧边栏的 Probes 菜单上,可以列出所有已知的观察点 ID,单击滚轮图标设置自定义名称,并单击图表图标可视化流量统计信息。
当流保持分离时,主机、AS、网络等流量在接口级别合并,而不管发起它的观察点 Id 是什么。当来自不同观察点的主机在一起交谈时,此选择允许统计数据不重复。例如,如果来自罗马站的主机正在与 www.google.com 通话,而来自柏林的主机也在与 www.google.com 通话,则 ntopng 将在内存中保留一个 www.google.com 主机条目,计算总的流量。当流存储在 nIndex 上时,它们都具有观察点 ID 和导出它的探测 IP 地址:这使网络分析师能够深入分析问题(例如,使用 ntopng 生成的警报报告)的流量来源。
总之,使用观察点可以根据站点对流量进行分区,同时保持主机、AS 和网络的计数器一致。请注意,如果网络地址重叠(例如,两个地址为 192.168.1.1 的主机部署在两个不同的位置),为了避免合并 IP 相同但物理上不同的主机的流量,建议使用两个不同的 ntopng 虚拟集合接口。
虹科提供网络流量监控与分析的软件解决方案-ntop。该方案可在物理,虚拟,容器等多种环境下部署,部署简单且无需任何专业硬件即可实现高速流量分析。解决方案由多个组件构成,每个组件即可单独使用,与第三方工具集成,也可以灵活组合形成不同解决方案。包含的组件如下:
-
PF_RING:一种新型的网络套接字,可显着提高数据包捕获速度,DPDK替代方案。
-
nProbe:网络探针,可用于处理NetFlow/sFlow流数据或者原始流量。
-
n2disk:用于高速连续流量存储处理和回放。
-
ntopng: 基于Web的网络流量监控分析工具,用于实时监控和回溯分析。