超级会员免费看
本文介绍了如何将日志数据从Kafka同步到Doris进行分析，包括配置Logstash输出到Kafka，创建Doris表，使用ROUTINE LOAD以及解决Offset out of range问题。此外，还探讨了直接写入Doris的可行性及其潜在影响。
Doris 日志分析案例
前面我们介绍了Doris在日志分析中的应用，和 Doris 数据集成 Kafka，今天我们来看一个具体的案例，因为日志数据往往都是写到kafka 或者，是通过日志收集工具收集到kafka 中的。
所以我们如果想要使用Doris进行日志分析的话，那我们需要做的一件事情，就是同步数据到Doris，这也就是我们前面介绍的功能 Doris 数据集成 Kafka，只不过我们上一节只是创建了一个测试的topic 和表，这一节我们看一个真实的案例。
配置日志写到Kafka
公司目前日志的现状是，日志通过Logstash写到ES ，然后通过Kibana进行分析，这里我们要做的其实很简单，就是在Logstash 的配置文件中，增加一个outpu 即可，我们先让ELK 的这套架构存在着,后面不要的时
订阅专栏 解锁全文
1006
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
