Flink on yarn 配置
如果我们打算把flink任务提交到yarn上,那么只需要一台flink客户机即可,但是需要有如下的配置
第一步:设置 HADOOP_CONF_DIR环境变量
export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/
注意:如果在flink的配置文件中设置Hadoop的环境变量,可以不在环境变量设置,只需要在配置文件中添加:
env.yarn.conf.dir: /usr/local/service/hadoop/etc/hadoop
第二步:修改flink-conf.yaml配置文件
添加如下配置:其他的参数 默认即可
#设置环境变量
env.yarn.conf.dir: /usr/local/service/hadoop/etc/hadoop
env.yarn.hadoop.conf.dir: /usr/local/service/hadoop/etc/hadooop
env.java.home: /usr/local/jdk
#设置检查点的存储目录
state.checkpoints.dir: hdfs://127.0.0.1/flink_checkpoints
#设置检查点保存的数据 默认是一个
state.checkpo