mysql+flinkCDC+hudi

一、准备事项

1.需要一个Hadoop集群，分布式，单节点，伪分布式都可以。

2.flink官网下载，下载的版本参照hudi官网 https://hudi.apache.org/docs/quick-start-guide/
本文使用版本  flink1.13.6+hudi0.10.1

注意：
1.需要将在$FLINK_HOME/conf/flink-conf.yaml，添加配置taskmanager.numberOfTaskSlots: 4  （大于4就行，我这里设置10），$FLINK_HOME/conf/worker  设置为节点名，复制几下，我这里设置3个Hadoop01（注：Hadoop01是我的节点名，请根据实际情况修改）。实际启动的slots数为10x3=30个。
2.需要flink-connector-mysql-cdc-1.4.0.jar 即mysql-cdc连接器放到flink 的 lib下。

3.mysql需要开启binlog日志,需要修改/etc/my.cnf文件，加上如下两段代码。

server-id=1
log-bin=mysql-bin    

---

二.、启动flink

进入flink的bin目录，执行

export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath