metron使用心得

最新推荐文章于 2024-09-10 21:39:03 发布
最新推荐文章于 2024-09-10 21:39:03 发布
阅读量467 收藏
点赞数
分类专栏： 技术 文章标签： kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zax_java/article/details/106208228
版权

文章目录

metron框架实现数据富化

logstash接收日志

logstash检测探针上报日志将对应端口接收的日志上报到指定的kafkaTopic

日志上报后初步解析过滤

当日志接收完成后将日后启动storm拓扑spout接收数据进行解析返回jsonArray

统一分配解析

将日志解析完成后同意下发到下一层拓扑同时将jsonArray拆开分配到指定的方法中 根据source_type来决定 然后发送到enrichments topic当中

启动富化拓扑

  • 接收相应json数据然后启动steal函数将数据进行富化
  • 这个其中可以连接其它模块比如hbase redis将数据持久话到其它数据库,同时也可以接收其它数据库的数据进行数据的进一步富化

ElasticsearchWriter

富化的数据默认写入到es当中

后端

后端springboot+springcloud

通过phoenix+es读入数据展示

zax_java
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
metron学习1
小恶魔的博客
07-29 3423
  今天小编在学习了metron之后来向大家分享一下我学到的东西： 一、metron是什么：   metron是一种安全大数据分析架构，其建立了一个平台，它为组织提供了大规模摄入、处理和存储各种安全数据提要的能力，以便检测网络异常并使组织能够快速响应这些异常。 二、metron分为这样几个部分 抓取数据---解析---富集---分类---打标签---警告，保存---UI设计 详见如图： ...
metron学习2
小恶魔的博客
07-31 474
查询筛选工具 此工具公开了两种通过命令行工具过滤PCAP数据的方法： 固定过滤器 恒星查询语言 该工具通过执行 ${metron_home}/bin/pcap_query.sh [fixed|query] 用法 usage: Fixed filter options  -bop,--base_output_path <arg>   Query result output p...
Metron架构
kerwin_tang97的博客
06-04 666
文章目录Metron 组件Metron 模块领域特定语言逻辑架构步骤 1 - 遥测事件缓冲区（Telemetry Event Buffer）步骤 2 - 处理（解析，规范化，验证和标记）（Process (Parse, Normalize, Validate and Tag)）步骤 3 - 富集（Enrich）步骤 4 - 标记（Label）步骤 5 - 警报和持久化（Alert and Persist）步骤 6 - UI门户以及数据和集成服务（UI Portal and Data & Integr
安装Metron
u011220960的博客
08-14 3952
1.Metron简介 Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，最早由Cisco公司的开源大数据系统安全框架项目OpenSOC迁移为Metron项目，现已晋升为Apache顶级项目。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。从概念上可划分为四个组件：数据捕获与摄取、实时数据处理...
metron简介
qq_17762247的博客
07-13 1131
一、简介： Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，前身为Cisco公司的开源大数据系统安全框架项目OpenSOC。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。从概念上可划分为四个组件：数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。 二、逻辑组件： 三、逻辑架构： Telemetry Event Buffer：遥感事件接收缓存，将传
Android 仿Win8的metro的UI界面
05-01
本篇文章将深入探讨如何在Android中实现这种仿Win8 Metro UI界面，并分享自定义控件的学习心得。 首先，理解Metro UI的设计理念是至关重要的。它强调内容为王，注重清晰的视觉层次和无干扰的用户体验。在Android中...
C#中DataGridView控件使用大全及C#学习心得
拾光博客
03-27 6061
DataGridView动态添加新行： DataGridView控件在实际应用中非常实用，特别需要表格显示数据时。可以静态绑定数据源，这样就自动为DataGridView控件添加相应的行。假如需要动态为DataGridView控件添加新行，方法有很多种，下面简单介绍如何为DataGridView控件动态添加新行的两种方法： 方法一： int index...
Metro_Jiu-Jitsu-crx插件
04-02
这个插件的主要目的是让使用者能够方便地获取到与武术训练相关的资源和资讯，特别是那些与"The Metro Drive"系列视频有关的内容。 【描述】 描述中提到，此插件支持英文语言，这意味着全球范围内的用户，尤其是英语...
Metro开发中ImageSource使用之我得
jancuny的专栏
11-21 934
我遇到的需求是程序运行中Image显示的图片要更换，找到后面这篇文章以后，我本来是直接把对应的C#代码简单改编，结果没通过，差点就被另一同事给抢走了，说他来解决，要改用数据模型绑定，那是肯定可以实现的，因为已经在用了。但是我不死心，隐约感觉到好像是协议使用的不正确，图片路径没找到，于是我就把已经实现的图像控件与数据模型绑定的代码找出来，看了一下，对照我的代码，经过几遍尝试吧，最后代码成了这样：
通信段专业培训心得体会推荐.doc
04-11
通信段专业培训心得体会 在通信领域，持续的学习和专业培训是至关重要的，因为这个行业的技术更新迅速，只有不断跟进才能确保工作效率和质量。这次的通信段专业培训为我打开了新的视野，让我意识到理论知识与实践...
Apache Metron从入门到落灰
oMaFei的博客
08-06 892
p>之前在安全方面有大数据处理方面需求，所以调研了几款处理引擎框架，就看到Apache Metron了，结果发现网上没几个文章写这个的。。。。 其中涉及到的组件会比较多，有部署软件用的Ambari(也可以用cdh)、zookeeper、Storm、HADOOP、KAFKA和数据处理的Nifi 先贴一些看下来总结的流程 Metron数据处理流程 1.Metron介绍 Metron是一...
Metron学习9_Apache Metron学习记录
wang_zhenwei的博客
01-05 5644
Metron学习记录 1 关于Metron 1.1 Apache Metron的演变 提起Apache Metron，我们必须提到OpenSoc，它的发展历程如下。 1.2 Metron的核心功能和功能主题 核心功能能力： 安全数据库，可插入框架，安全应用程序，威胁只能平台； 核心功能主题： 平台，数据收集，数据处理，UI； 1.3 Metron用户角色及受益点 适合6类用户角
Metron学习8_使用Metron安装Elasticsearch后，启动时No interface named 'eth1' found报错
wang_zhenwei的博客
12-15 1605
在前文中，已经解决了Metron安装过程中的报错：No interface named 'eth0' found, got [name:lo (lo), name:em1 (em1)]； 但是在两个slave机上启动Elasticsearch时，还是遇到了问题，描述如下： [root@slave1 elasticsearch]# service elasticsearch start Star
Metron基础概念
huaxia2002的博客
08-25 265
Metron基础概念 相关名词对应概念 架构图 mass服务架构（暂时理解不了） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aEuIeZKv-1629875080431)(https://metron.apache.org/current-book/images/maas_arch.png)] 调整使用Model的Squid的设置 该项配置以json格式存储在$METRON_HOME/config/zookeeper/enrichments/squid.json中，enr
Metron学习7_Metron安装过后，一些被安装工具的位置
wang_zhenwei的博客
12-12 1319
说明： 首先，在/home/szx目录下安装Metron； 在目录：/home/szx/incubator-metron-Metron_0.2.0BETA_rc2/metron-platform/ 下，可以看到Metron安装的相关工具及组件； 在目录：/home/szx/incubator-metron-Metron_0.2.0BETA_rc2/metron-deployment/
Metron学习10_Deploying a fresh Metron cluster via Ambari Management pack
wang_zhenwei的博客
01-06 1760
Short Description: This article describes the steps to deploy a fresh HCS/Metron cluster using Ambari Server installed with management packs for Metron. Article Note: This article is an ex
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
一个不断前行的程序者
09-04 1334
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
【kafka】消息队列
最新发布
weixin_73815624的博客
09-10 510
②具有顺序的数据写入到了不同的partition里面，不同的消费者去消费，但是每个consumer的执行时间是不固定的，无法保证先读到消息的consumer一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。延迟队列：在kafka中创建一个消息队列，为队列设置延时时间，将消息推送到队列中打上时间戳，消息达到延时后自动被删除。从生产者的角度来说：使用确认机制，当发送消息后通过同步或者异步的方式直到成功接受才算发送成功，代替发后即忘的消息发送模式。7.怎么保证消息消费的顺序？
kafka的安装和启动
AWSDN的博客
09-05 690
本文主要介绍Kafka的安装和启动
使用 XAML 和 C# 构建 Windows 8 Metro 应用程序
本书籍《Metro Revealed Building Windows 8 apps with XAML and C#》是关于使用 XAML 和 C# 构建 Windows 8 应用程序的指南。该书籍涵盖了 Metro 应用程序的开发、设计和实现的方方面面，旨在帮助开发者快速掌握 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值