Hudi-集成Flink(Flink操作hudi表)

一、安装部署Flink 1.12

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。

1.准备tar包

flink-1.13.1-bin-scala_2.12.tgz

2.解压

 tar -zxvf flink-1.13.1-bin-scala_2.12.tgz

3.添加Hadoop依赖jar包，放在flink的lib目录下

flink-shaded-hadoop-2-uber-2.8.0-10.0.jar

flink-sql-connector-kafka_2.12-1.13.1.jar

hudi-flink-bundle_2.12-0.10.1.jar

hive-exec-2.3.9.jar

4.启动HDFS集群

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

5.启动flink本地集群

/flink/bin/start-cluster.sh

可看到两个进程：TaskManagerRunner、StandaloneSessionClusterEntrypoint

停止命令

/flink/bin/stop-cluster.sh

6.Flink Web UI

http://localhost:8081/#/overview

7.执行官方示例

读取文本文件数