日志审计Graylog 使用教程-kafka收取消息

已于 2024-08-22 19:46:58 修改
阅读量1.3k 收藏 18
点赞数 14
分类专栏： linux系统常用工具 文章标签： linq c#
于 2024-08-19 20:50:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41167620/article/details/141334621
版权

Graylog 是一个开源的日志管理和分析平台。它主要用于收集、存储、处理和分析大量的日志数据。Graylog 的核心功能包括：

  1. 日志收集：Graylog 可以从各种来源（如服务器、网络设备、应用程序等）收集日志数据。它支持多种输入方式，包括 Syslog、GELF、Beats、Kafka 等。
  2. 日志存储：Graylog 使用 Elasticsearch 作为其后端存储系统，因此它可以高效地存储和检索大量的日志数据。
  3. 日志处理和分析：Graylog 提供了强大的搜索和分析功能，用户可以通过查询语言对日志进行过滤、排序、聚合等操作，帮助发现问题或监控系统状态。
  4. 警报和通知：Graylog 可以根据预设条件触发警报，并通过电子邮件、Slack 等渠道发送通知。
  5. 可视化和仪表板：用户可以在 Graylog 中创建可视化的仪表板，用于实时监控和分析日志数据。

Graylog 常用于 IT 运维、安全监控、故障排查等场景，通过对日志数据的集中管理和分析，帮助企业提高系统的可观测性和问题解决能力。

一、日志收集

1.1、配置日志服务器

选择input

这里给了很多日志接收方法

试验使用kafka获取日志，

1.2、配置映射表

他作为动态数据获取，比如IP 地理位置等，根据日志某个字段的信息从XX库找到对应的数据

选择数据源

创建链接源数据实例

有很多不同格式的数据源

选择csv文件

如果我们的内容为

username ,department,email

jdoe,IT,jdoe@example.com

asmith,HR,asmith@example.com

bwhite,Finance,bwhite@example.com

johndoe,jiushi,a.com

将内容编写为

不区分大小写，更新

创建索引表实例

选择刚刚创建的数据源实例并创建

1.3、创建字段提取器

创建，内容填写自己构建的kafka服务器地址和topic

保存成功，他会自己运行的，如果没有问题就会变成RUNNING的状态

先生产一个消息，因为要配置字段提取器

生产内容

{  "version": "1.1",  "host": "webserver.local",  "short_message": "User login failed",  "full_message": "User johndoe failed to login to the web application",  "level": 3,  "_username": "johndoe",  "_src_ip": "192.168.1.2"}

查看消息

新产生的这个就是

构造字段提取

新增字段提取器

加载最近的消息

这里内容是kafka生产的消息，只作为日志，可以对每个字段配置提取。

将username 用于 Look UP配置

忘记设置映射表了。先在1,2小节创建映射表实例

选择映射表

1.4、创建告警

1.4.1、创建上报

使用简单的API上报

填充URL，并尝试发送测试数据

提示成功

查看api服务器

1.4.2、定义事件

设置上报方式，刚才创建的API方式

创建告警事件完成

1.5、测试

1.5.1、产生关于登录失败的日志

{  "version": "1.1",  "host": "webserver.local",  "short_message": "User login failed",  "full_message": "User johndoe failed to login to the web application",  "level": 3,  "_username": "johndoe",  "_src_ip": "192.168.1.2"}

其中username的值为johndoe，记得之前映射表给定文件内容

我们创建映射表时，通过username查找department内容，并添加到告警自定义字段中。

产生的告警内容，我们自定义字段“renyuan”他的value通过映射表username关联到的。日志内容jdoe对应表格IT内容

附录

Input kafka不同格式示例

1. CEF Kafka

示例消息：

CEF:0|SecurityVendor|SecurityProduct|1.0|100|User Login|5|dvc=192.168.1.1 duser=johndoe src=10.0.0.1 spt=443

解释：

  • CEF:0: CEF 版本号。
  • SecurityVendor: 设备供应商名称。
  • SecurityProduct: 设备产品名称。
  • 1.0: 设备版本。
  • 100: 事件 ID。
  • User Login: 事件名称或描述。
  • 5: 严重级别（1-10）。
  • dvc=192.168.1.1: 设备 IP 地址。
  • duser=johndoe: 目标用户名。
  • src=10.0.0.1: 源 IP 地址。
  • spt=443: 源端口。

2. GELF Kafka

示例消息：

{
  "version": "1.1",
  "host": "webserver.local",
  "short_message": "User login failed",
  "full_message": "User johndoe failed to login to the web application",
  "level": 3,
  "_username": "johndoe",
  "_src_ip": "192.168.1.2"
}

解释：

  • version: GELF 版本号。
  • host: 主机名或 IP 地址。
  • short_message: 简短的事件描述。
  • full_message: 事件的详细描述。
  • level: 日志级别（例如：3 表示错误）。
  • _username 和 _src_ip: 自定义字段。

3. RAW Kafka

示例消息：

User johndoe failed to login from IP 192.168.1.2 via web application.

解释：

  • RAW 格式是原始日志消息的简单文本，没有结构化的字段或元数据。消息内容完全取决于发送方。

4. Syslog Kafka

示例消息：

<134>webserver.local User login failed: johndoe from 192.168.1.2

解释：

  • <134>: Syslog 优先级，计算方式为 (Facility * 8) + Severity。
  • webserver.local: 发送日志的主机名。
  • User login failed: johndoe from 192.168.1.2: 日志消息内容，描述发生的事件。

这些示例展示了不同格式在 Kafka 中传输的方式，供 Graylog 等日志管理系统解析和处理。

问题

1、接收到消息，但是没有输出

存在下行数据变动

查看系统日志tail -f /var/log/graylog-server/server.log &

root@a:/home/install/kafka_2.12-2.8.2# 2024-08-19T03:49:22.949Z ERROR [DecodingProcessor] Unable to decode raw message RawMessage{id=0593cd30-5dde-11ef-b23f-ac1f6b7e6aea, journalOffset=70, codec=CEF, payloadSize=9, timestamp=2024-08-19T03:49:22.947Z} on input <66c2a27b4c33336f079032fc>.

2024-08-19T03:49:22.949Z ERROR [DecodingProcessor] Error processing message RawMessage{id=0593cd30-5dde-11ef-b23f-ac1f6b7e6aea, journalOffset=70, codec=CEF, payloadSize=9, timestamp=2024-08-19T03:49:22.947Z}

java.lang.NullPointerException: null

        at org.graylog.plugins.cef.parser.MappedMessage.<init>(MappedMessage.java:37) ~[graylog.jar:?]

        at org.graylog.plugins.cef.codec.CEFCodec.decodeCEF(CEFCodec.java:128) ~[graylog.jar:?]

        at org.graylog.plugins.cef.codec.CEFCodec.decode(CEFCodec.java:117) ~[graylog.jar:?]

        at org.graylog2.shared.buffers.processors.DecodingProcessor.processMessage(DecodingProcessor.java:149) ~[graylog.jar:?]

        at org.graylog2.shared.buffers.processors.DecodingProcessor.onEvent(DecodingProcessor.java:90) [graylog.jar:?]

        at org.graylog2.shared.buffers.processors.ProcessBufferProcessor.onEvent(ProcessBufferProcessor.java:90) [graylog.jar:?]

        at org.graylog2.shared.buffers.processors.ProcessBufferProcessor.onEvent(ProcessBufferProcessor.java:47) [graylog.jar:?]

        at com.lmax.disruptor.WorkProcessor.run(WorkProcessor.java:143) [graylog.jar:?]

        at com.codahale.metrics.InstrumentedThreadFactory$InstrumentedRunnable.run(InstrumentedThreadFactory.java:66) [graylog.jar:?]

        at java.lang.Thread.run(Thread.java:830) [?:?]

创建了CEF格式解码器，原因为kafka生产的消息不符合格式

示例CEF格式内容

CEF:0|Security|Graylog|1.0|100|Test event|5|src=10.0.0.1 dst=10.0.0.2 spt=1232

可以通过重新创建一个syslog

强壮的向阳花
关注
专栏目录
filebeat+kafka+graylog+es+mongodb可视化日志详解
wx_17600131438
03-18 4227
graylog 是一个开源的专业的日志聚合、分析、审计、展示、预警的工具，跟 ELK 很相似，但是更简单，下面说一说 graylog 如何部署，使用，以及对 graylog 的工作流程做一个简单的梳理 本文篇幅比较长，一共使用了三台机器，这三台机器上部署了 kafka 集群(2.3)，es 集群(7.11.2)，MongoDB 副本集(4.2)，还有 graylog 集群(4.0.2)，搜集的日志是 k8s 的日志，使用 DaemonSet 的方式通过 filebeat(7.11.2)将日志搜集到 ka.
GrayLog使用
IT界的奇葩
11-19 4047
文章目录一、docer安装二、Docker Compose安装三、创建目录/usr/local/graylog四、开始安装使用公开的数据目录启动所有服务：如果yml名称为graylog.yml则使用下面命令启动重启docker-compose restart五、springboot logback集成六、配置Graylog 一、docer安装 二、Docker Compose安装 第一种方式： curl -L "https://github.com/docker/compose/releases/dow
Graylog日志丢失解决方案
最新发布
weixin_38924998的博客
08-26 1343
总结graylog优化 主配置文件 /etc/graylog/server/server.conf# graylog服务临时存储目录# graylog服务# 最大保存日志天数# 设置为false表示不允许在查询字符串的开头使用通配符。# 设置为false表示关闭搜索结果中的关键词高亮功能。# 设置为15000表示每次向输出插件发送15000条日志数据。# 设置为5秒表示如果没有新的日志数据到来，每5秒强制刷新一次输出。# 设置为20表示如果输出插件连续失败20次，则触发故障处罚。
使用 Graylog 管理服务日志
热门推荐
kwkwc的博客
08-23 2万+
日志管理是一件麻烦的事情，特别是服务多的情况下出了问题需要排错、分析非常困难，一般会使用 ELK，但这篇文章将会介绍另外一个同样优秀的日志聚合平台 Graylog。
Docker安装graylog和详解
liuhm的博客
03-25 6490
Docker安装graylog和详解 前言 graylog我就不想介绍了，如果你看到graylog就知道它是一个日志存储服务器web 准备 安装docker 安装docker compose 1、安装graylog mkdir -p /home/graylog/mongo_data && chmod -R +777 /home/graylog/mongo_data mkdir -p /home/graylog/es_data && chmod -R +777 /home/gr
Graylog 中文手册 常用功能和问题整理
2401_83916326的博客
04-01 686
Graylog本身是使用默认映射包括用于设置timestampmessage，和source索引的消息的字段：pretty’],},},},},},],},},},},},},},},为了扩展 Elasticsearch 和 Graylog 的默认映射，您可以创建一个或多个自定义索引映射并将它们作为索引模板添加到 Elasticsearch。假设我们有一个数据架构，如下所示：| 字段名称 | 字段类型 | 例子 |took_ms。
分布式日志GrayLog使用
AnswerCoder的博客
02-21 4374
文章目录[GrayLog](https://docs.graylog.org/)简介GrayLog功能分析单机部署GrayLogspring 整合graylogGrayLog常用查询语法更多操作 GrayLog简介 GrayLog是一个轻量型的分布式日志管理平台，一个开源的日志聚合、分析、审计、展示和预警工具。在功能上来说，和 ELK类似，但又比 ELK要简单轻量许多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多公司的青睐。 GrayLog包含 Elasticsearch、MongoDb 和 Gra
graylog使用总结这一篇就够了
liuyij3430448的博客
10-31 1万+
graylog使用 graylog报警配置 graylog接springboot graylog使用总结 graylog邮件通知
GrayLog日志平台的基本使用-docker容器日志接入
qq_31292011的博客
12-22 1279
服务器上存在4 个内核，我们要使用 5.12.1这个版本，可以通过 grub2-set-default 0 命令或编辑 /etc/default/grub 文件来设置。在本机测试时，docker无法访问，应该是内核版本太低的问题，我这里进行了内核升级操作。方法1、通过 grub2-set-default 0 命令设置。本机测试：curl -vk http://127.0.0.1。方法2、编辑 /etc/default/grub 文件。3.2.2、设置新的内核为grub2的默认版本。1、查看当前内核版本。
graylog2-server：免费和开源日志管理
02-05
Graylog是一个开源日志管理平台。 你可以阅读更多关于该项目上我们的，并检查了的文档站点。 问题跟踪 发现了错误？ 有改进的想法吗？ 随时。 贡献 帮助我们建立日志管理的未来，并成为每天有成千上万的人使用的...
log4jappender配置kafka使用的jar包
09-08
3. **特定的Log4j-Kafka适配器**：为了使Log4j能够与Kafka进行通信，还需要一个中间件库，比如`log4j-kafka-appender.jar`或`log4j-appender-kafka-*.jar`，具体取决于你选择的实现。 在实际项目中，你可能需要将...
logstash-integration-kafka:Kafka Integration for Logstash，提供输入和输出插件
03-05
Kafka日志不遵守Log4J2根记录器级别，默认为INFO，对于其他级别，必须在Logstash部署的log4j2.properties文件中显式设置日志级别，例如： logger.kafka.name=org.apache.kafka logger.kafka.appenderRef.console....
Kafka--Kafka日志索引详解以及生产常见问题分析与总结
weixin_43874650的博客
12-20 1961
​ Kafka的设计重点是在网络不稳定，服务也不稳定的复杂分布式环境下，如何保持高性能，高可用，高可扩展的三高架构。在这方面，Kafka的设计是很复杂也很完善的，是业内公认的老大哥。因此网上的解读文章也是最多的。但是这些解读的文章如果没有一条主线串起来，那永远都只是一些零散的，过目既忘的东西。​ 在这几期的课程中，一直在尝试以可见的方式去深入理解Kafka的各种主要设计思想。内容非常多，节奏也非常紧凑，但是梳理出了客户端、Zookeeper数据、Log日志三条可以看得见的数据主线。
Flink CDC 与 Kafka 集成：Snapshot 还是 Changelog？Upsert Kafka 还是 Kafka？
Laurence的技术博客
02-05 1416
我们知道，尽管 Flink CDC 可以越过 Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如 Hudi 等）， 但从整体架构上考虑，维护一个 Kafka 集群作为数据接入的统一管道是非常必要的，这会带来很多收益。在 Flink CDC 之前，以 Debezium + Kafka Connect 为代表的技术组合都是将数据库的CDC数据先接入到 Kafka 中，然后再由后续的组件解析和处理。
GrayLog日志平台的基本使用-收集系统日志
qq_31292011的博客
12-20 947
Input配置后，需要开放端口：firewall-cmd --permanent --zone=public --add-port=1514/udp;Inputs新增syslog UDP的类型，接收端口为1514 UDP 用于接收Linux服务器使用rsyslog转发过来的系统日志。以Linux主机为例 vi /etc/rsyslog.conf 最后行添加。第二步编辑Linux服务器。1、新建Indices。3、再新建Stream。
使用spring-kafka 发送华为云roma connec kafka消息
02-07
使用Spring Kafka发送华为云ROMA Connect Kafka消息可以按照以下步骤进行： 1. 首先，确保已经在项目中引入了Spring Kafka的依赖。可以在项目的pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.8.0</version> </dependency> ``` 2. 在Spring Boot的配置文件中，配置Kafka的连接信息。可以在application.properties或application.yml文件中添加以下配置： ```properties spring.kafka.bootstrap-servers=<kafka-bootstrap-servers> spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer ``` 其中，`<kafka-bootstrap-servers>`是华为云ROMA Connect Kafka的bootstrap servers地址。 3. 创建一个KafkaProducer的Bean，用于发送消息。可以在Spring Boot的配置类中添加以下代码： ```java import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringSerializer; import import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.kafka.core.DefaultKafkaProducerFactory; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.kafka.core.ProducerFactory; import java.util.HashMap; import java.util.Map; @Configuration public class KafkaConfig { @Bean public ProducerFactory<String, String> producerFactory() { Map<String, Object> configProps = new HashMap<>(); configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "<kafka-bootstrap-servers>"); configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); return new DefaultKafkaProducerFactory<>(configProps); } @Bean public KafkaTemplate<String, String> kafkaTemplate() { return new KafkaTemplate<>(producerFactory()); } } ``` 其中，`<kafka-bootstrap-servers>`是华为云ROMA Connect Kafka的bootstrap servers地址。 4. 在需要发送消息的地方，注入KafkaTemplate，并使用它发送消息。可以在任何Spring管理的Bean中注入KafkaTemplate，并调用其`send()`方法发送消息。以下是一个示例： ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.stereotype.Component; @Component public class KafkaMessageSender { private final KafkaTemplate<String, String> kafkaTemplate; @Autowired public KafkaMessageSender(KafkaTemplate<String, String> kafkaTemplate) { this.kafkaTemplate = kafkaTemplate; } public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } ``` 在上述示例中，`KafkaMessageSender`类注入了`KafkaTemplate`，并提供了一个`sendMessage()`方法用于发送消息。 这样，你就可以使用Spring Kafka发送华为云ROMA Connect Kafka消息了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强壮的向阳花

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值