k8s部署flume+kafka+flink，构建开发环境大数据实时分析日志系统（不需要Zookeeper）

 

一：flume

前面的文章有

二：kafka

前面的文章有

三：flink

官方有。

这里我采用session模式部署，开发用，简单方便。

yaml官方提供了，我只是把镜像换成java的，

 apache/flink:1.13-java8

flink-config.yaml ,增加了checkpoint。

state.checkpoints.dir: file:///tmp

具体就这么几个

都是官网的

四：测试。

进入kafka，broker任意节点，创建topic，

例如

./kafka-topics.sh --create --topic test --replication-factor 2 --partitions 3 --bootstrap-server broker1.p-kfk-con1.default.svc.cluster.local:9092

然后，在flume读取日志的文件目录下（挂载出来的），放一个日志文件。

最后，将flink程序用maven package打包，在提供的浏览器client上提交任务，运行