6.Flink on yarn搭建(大数据集群)

上传文件解压配置环境

Fink版本        flink-1.14.6-bin-scala_2.12.tgz

重命名 flink 缩短文件名

vi /etc/profile

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/

export HADOOP_CLASSPATH=`hadoop classpath`

# flink

export FLINK_HOME=/bigdata/flink

export PATH=$PATH:$FLINK_HOME/bin
然后保存source刷新

source /etc/profile

修改配置

cd $FLINK_HOME

vi conf/flink-conf.yaml

可更改

jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1

​yarn.containers.vcores​​

启用

bin/yarn-session.sh 可以启动会话模式

bin/yarn-session.sh -s 1 -tm 1024        表示启动YARN会话模式, 每个TaskManager的Slot数量是1, 每个TaskManager可用1024M内存

测试

flink run -m yarn-cluster -d ./examples/streaming/WordCount.jar 自带的jar包