Doris 日志分析案例

Doris 日志分析案例

前面我们介绍了Doris在日志分析中的应用，和 Doris 数据集成 Kafka，今天我们来看一个具体的案例，因为日志数据往往都是写到kafka 或者，是通过日志收集工具收集到kafka 中的。

所以我们如果想要使用Doris进行日志分析的话，那我们需要做的一件事情，就是同步数据到Doris，这也就是我们前面介绍的功能 Doris 数据集成 Kafka，只不过我们上一节只是创建了一个测试的topic 和表，这一节我们看一个真实的案例。

配置日志写到Kafka

公司目前日志的现状是，日志通过Logstash写到ES ，然后通过Kibana进行分析，这里我们要做的其实很简单，就是在Logstash 的配置文件中，增加一个outpu 即可，我们先让ELK 的这套架构存在着,后面不要的时候，直接删除对应的outpu即可。

这里我们先创建一个kafka 的topic,因为数据很快就同步到doris 了，所以这里我们直接就一个副本，当然如果你想要安全，可以创建三副本，因为我们这里的日志没那么重要，所以我也不怕它丢失

kafka-topics.sh --c