最近在思考kafka Stream 是否可以替换掉flume

最新推荐文章于 2022-07-02 10:44:22 发布

黄瓜炖啤酒鸭

最新推荐文章于 2022-07-02 10:44:22 发布

阅读量432

点赞数

分类专栏： kafka

本文链接：https://blog.csdn.net/qq_31866793/article/details/100292523

版权

本文探讨了使用Kafka Stream替代Flume的可能性，通过本地简单案例验证了Kafka Stream的功能。主要考虑点包括是否会丢数据、数据顺序性、吞吐量以及资源消耗。同时，提供了相关文章链接以供深入研究。

摘要由CSDN通过智能技术生成

1，先写了个简单的案例，本地运行成功

package com.coder.flink.core.a_kafkaStream;



import java.util.Arrays;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.errors.StreamsException;
import org.apache.kafka.streams.kstream.*;


public class WordCountApplication {
    public static void main(final String[] args) throws Exception {
        Properties props = new Properties();

        //todo 设置名称
        props.put(StreamsConfig.APPLICATION_ID_CONFIG, "wordcount-application");

        //todo 设置节点
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "node2.hadoop:9092,node3.hadoop:9092");

        //todo 设置线程数
        props.put(StreamsConfig.NUM_STREAM_THREADS_CONFIG, "4");

        //todo 设置序列化
        props.put(StreamsConfig.DEFA