Apache Metron Bro 插件 Kafka 的安装与配置指南

Apache Metron Bro 插件 Kafka 的安装与配置指南

metron-bro-plugin-kafkaApache Metron 项目地址:https://gitcode.com/gh_mirrors/me/metron-bro-plugin-kafka

本文将详细介绍如何安装和配置 Apache Metron Bro-plugin-kafka，以便让Bro日志写入到Kafka中。

1. 项目目录结构及介绍

在项目根目录下，主要的文件和子目录有：

• src: 存放源代码，包括Bro插件的实现。
• scripts: 包含用于构建、部署或测试的脚本。
• docs: 文档相关资料，包括用户手册和开发者指南。
• conf: 示例配置文件，供参考和修改。
• MAINTAINER: 维护者信息。

2. 项目的启动文件介绍

由于这是一个Bro的日志插件，没有单独的启动文件。你需要在Bro的配置环境中引入并配置这个插件，然后启动Bro守护进程以使插件生效。具体操作是在Bro的配置目录（通常是 $BRO_HOME/share/bro/site）下创建或编辑 local.bro 文件，将以下内容添加进去：

@load Bro/Kafka/logs-to-kafka
redef Kafka::logs_to_send = set(HTTP::LOG, DNS::LOG);
redef Kafka::topic_name = "bro";
redef Kafka::tag_json = T;
redef Kafka::kafka_conf = {...};

在这里，logs-to-kafka 是包含插件逻辑的脚本，其他redefs用来定义发送到Kafka的日志类型、主题名以及配置项。

3. 项目的配置文件介绍

主要配置文件

• $BRO_HOME/etc/broker.cfg: 这是连接到Kafka集群的基本配置文件，包括Bro如何连接到Kafka服务器，如节点地址、端口等。如果使用了安全协议（如SASL），还需要配置认证信息。

kafka.bootstrap.servers=node1:6667
kafka.security.protocol=SASL_PLAINTEXT
...

• $BRO_HOME/share/bro/site/local.bro: 如上所述，这是Bro的日志记录配置文件，它定义了哪些日志类型会被发送到Kafka，以及相关的Kafka主题和JSON标记。

redef Kafka::logs_to_send = ...;
redef Kafka::topic_name = ...;
redef Kafka::tag_json = ...;
redef Kafka::kafka_conf = {...};

其他相关配置

• /etc/security/keytabs/: 如果启用Kerberos，这里存放Keytabs文件。
• Kafka 配置（位于Kafka服务器）: 需要确保已设置允许Bro插件使用的用户（如metron）对指定主题的写权限。

完成上述配置后，启动Bro守护进程以开始发送日志数据到Kafka。

请注意: 实际部署时，可能需要根据你的环境调整上述配置，例如服务器名称、端口、安全设置等。确保所有组件都可以正常通信，并遵循最佳安全实践。

metron-bro-plugin-kafkaApache Metron 项目地址:https://gitcode.com/gh_mirrors/me/metron-bro-plugin-kafka