网络安全系列-VI: 网络安全大数据分析的粗浅认识

网络安全大数据

数据流程

在一个真正的网络中，会收到各种请求。
当一个真正的攻击进来，它可能会穿越所有的网络设备（见下图）：Sniffer会抓包产生PCAP文件、各种日志中会记录操作日志、事件日志等。
如何将这些海量的日志、PCAP文件关联起来，找到并还原这些网络攻击行为，就需要使用到大数据技术。

那如何使用大数据技术进行网络安全分析呢？数据流程主要如下：

• 实时收集所有网络设备的日志如系统日志、SDEE事件日志、snmp日志及使用网络抓包软件抓取的PCAP文件，以文件的方式存储在分布式文件系统上，如HDFS
• 数据格式化，然后按结构化数据进行存储，如以HIVE表的方式存储在HDFS上 或 MPPDB数据库中
  • 针对各种日志文件进行格式化处理
  • 针对PCAP文件解包并格式化处理 （需要提供各种协议包的解码工具）
• 使用Spark、Flink针对数据进行统计，找出攻击行为，
  • 提供各种网络攻击行为的检测，如针对DOS攻击、反向SSH等的检测
  • 检测入侵活动
  • 提供防御网络攻击的工具
    参见如下流程图：