Flink随笔（一） 野生使用Hadoop yarn,hdfs

目录

说明

---

说明

组内搭建一个小集群， 10+个节点，因为SRE 权限没给到，想在上边跑一些自己的任务，找了一台能连接到Master 的机器 。 

其实有了 Hadoop Yarn 和 HDFS ， 客户端只要能够提交就可以，但是需要用到hadoop 的一些配置等，所以需要安装

 

操作

下载Hadoop （已经3.X 了， 当年还是0.20.2 的版本看源代码）

https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz

下载flink  (当前最新 1.12.1 )

wget http://mirror.bit.edu.cn/apache/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz

解压到目标目录（为了方便就基本当前目录  tar -zxvf  xxx.tar.gz）

配置环境变量，让Flink能够检测到并且使用Hadoop 程序

export JAVA_HOME=/xxxx/jvm/java-8-openjdk-amd64/jre
export HADOOP_HOME=/xxxx/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLAS