文章目录
metron框架实现数据富化
logstash接收日志
logstash检测探针上报日志将对应端口接收的日志上报到指定的kafkaTopic
日志上报后初步解析过滤
当日志接收完成后将日后启动storm拓扑spout接收数据进行解析返回jsonArray
统一分配解析
将日志解析完成后同意下发到下一层拓扑同时将jsonArray拆开分配到指定的方法中 根据source_type来决定 然后发送到enrichments topic当中
启动富化拓扑
- 接收相应json数据然后启动steal函数将数据进行富化
- 这个其中可以连接其它模块比如hbase redis将数据持久话到其它数据库,同时也可以接收其它数据库的数据进行数据的进一步富化
ElasticsearchWriter
富化的数据默认写入到es当中
后端
后端springboot+springcloud
通过phoenix+es读入数据展示