Apache Metron晋升顶级项目

Hortonworks和Apache宣布Metron正式晋升为顶级项目。Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，代表了安全数据平台的最新发展水平。该项目最早可溯源至Cisco的开源大数据系统安全框架项目OpenSOC。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。Metron在同一平台中集成实现了所有的这些功能。
Metron从概念上可划分为四个组件：数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。

从核心上看Metron是Kappa架构。Kappa是Lambda架构的一种变体，使用Apache Kafka作为统一的数据总线，并使用Apache Strom作为处理组件。Bro插件提供了将Bro日志发送给Kafka的能力，这使得Metron可以捕获对深度探究数据包尤为有用的数据、借助Kafka的可靠性保证捕获并重建数据，以及与其他大数据生态系统进行集成。

数据捕获组件实现将遥测数据发布到Metron的消息总线上，进而持久化或经由Storm进行实时处理到HBase中。Metron对被捕获的数据提供了多种方法建立搜索索引和进行实时与近实时处理。Metron提供了数据接口，使得HBase可根据情况与ElasticSearch、Lucene和Solr进行接口。Metron默认提供的系统管理和仪表盘接口是基于Kibana构建的。

Metron具有一些不同于新兴数据流水线标准的特征。首先，Metron是通过Stellar与一系列的数据转换功能和API进行集成的。Stellar是一种威胁情报分离和场转换语言，通过Metron的RESTful模型即服务（MaaS，Modeling-as-a-Service）功能进行部署和执行。MaaS功能使用Yarn管理，设计实现为一种实时或近实时的威胁检测和响应机制。其次，数据浓缩工具集提供了管理和加载各种数据浓缩和威胁情报源到Metron的HBase数据接收器的功能。通过MaaS部署的机器学习模型，Metron实现了对数据浓缩步骤的增强。最后一点，Metron提供了一系列的分析工具。当实时和近实时的遥测数据进入数据总线以及在HBase中持久化时，分析工具实现了执行特性抽取和截取数据窗口的机制。

该Apache项目由Owen O'Malley领导，最早正是他负责将OpenSOC项目迁移为Metron项目。

本文转自d1net（转载）