kafka+flink实现wordCount及数据写入mysql

最新推荐文章于 2023-01-30 23:54:04 发布

long19900613

最新推荐文章于 2023-01-30 23:54:04 发布

阅读量4.6k

点赞数

分类专栏： demo示例文章标签： flink+kafka+mysql flink kafka mysql

本文链接：https://blog.csdn.net/long19900613/article/details/80725073

版权

本文介绍了如何结合Flink、Kafka和MySQL来完成WordCount程序，并将结果存储到MySQL数据库中。首先，搭建了Flink、Kafka和Zookeeper环境，接着创建Kafka主题并发送/消费消息。然后，编写Flink程序从Kafka读取数据，进行WordCount操作，最后将结果通过自定义的MySQL Sink写入数据库。

摘要由CSDN通过智能技术生成

step1:搭建flink环境

step2:搭建kafka环境（配置系统变量$KAFKA_HOME）

step3:搭建zookeeper环境

step4:启动zookeeper：进入zookeeper的bin目录下输入：zkServer.sh start

step5:启动kafka:进入kafka的bin目录下输入：kafka-server-start.sh $KAFKA_HOME/config/server.properties

step6:创建topic,生产者，消费者，查看topic状态

1.创建topic: zk
        kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic hello_topic
2.查看所有topic
        kafka-topics.sh --list --zookeeper hadoop001:2181
3.发送消息: broker
        kafka-console-producer.sh --broker-list hadoop001:9092 --topic hello_topic
     4.消费消息: zk

kafka-console-consumer.sh --zookeeper hadoop001:2181 --topic hello_topic --from-beginning

step7:生成wordCount demo代码

1.pom引用（kafka+flink+mysql）

<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>1.0.0</version>
</dependency>

<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.0.0</version>

</dependency>
<dependency>
<groupId>org.apa