【阿里云MVP第五期】安畅网络韩军辉：ELK在数据中心流量分析中的应用

点击有惊喜

嘉宾介绍

韩军辉 上海安畅运维专家
热衷于开源技术的学习和研究，从事多年的ELK运维相关工作，对ELK Stack有深入研究，对ELK相关运维有丰富的经验。

数据中心流量分析的挑战

早期的时候安畅网络是做IDC的，当时我们有13个数据中心和两个公共云的节点，出口带宽大概在200G左右。

我们当时面临的困难是告警信息无法给出明确的攻击情况。我们只能是收到DDOS告警，然后通知机房现场，或者是运维工程师来手动的用抓包分析。这样以来，定位时间不可控，如果DDOS直接把机房的流量打死，或者机房直接瘫痪，这对客户的业务影响是不可估量的。所以当时我们就想能不能当DDOS攻击来临的时候，直接快速的分析出是哪个IP被攻击了，来源IP是什么，这样直接可以指到黑洞或者封堵，比较大的时候通知运营商进行封堵，这样可以减少最小的影响范围。

基于ELK的流量分析技术架构

每个数据中心核心或者路由器配置SFlow收集数据，然后经过sflowtool这个工具进入logstash。输出分为离线和在线两路。在线部分输入ES集群，最后经过Kibana展示。离线部分输出到kafka集群，然后进入Spark Streaming计算，通过算法生成告警。

流量全景分析和告警

下面是其中一个数据中心的流量全景图。

这边大家可以看到，就是这个电信入口，它TOP10的客户，而且后面可能是没有展现出来，它可以带到比较高的流量IP，可以跟电信入口或者联通入口，当DDOS攻击来的时候肯定是某个IP破坏量特别的高，而且从ES搜索路径是可以看到是哪个IP被攻击了，来源IP是什么。这个是我们当时根据我们公司自己业务从流量分析里面抓出来我们自己属于我们公司业务自己内部的一些流量，最上面的是我们这个流量的趋势图，还有下面的协议分布，或者是我们公司业务哪一些地区访问的最多，还能进行高德地图判断出这个流量客户的热点图等。

点击有惊喜