基础环境
jdk1.8
maven
python2
git
使用parcel制作工具制作
下载制作工具:
git clone https://github.com/pkeropen/flink-parcel.git
完成后会在当前目录生成一个flink-parcel的文件,证明下载成功
修改配置文件
cd flink-parce
vim flink-parcel.properties
修改内容:
#FLINK 下载地址
FLINK_URL=https://dlcdn.apache.org/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz
#flink版本号
FLINK_VERSION=1.13.2
#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11
#操作系统版本,以centos为例
OS_VERSION=7
#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.2
#CDH大版本
CDH_MIN=5
CDH_MAX=6
chmod 755 build.sh
build.sh parcel
构建flink-yarn csd包
build.sh csd_on_yarn
将FLINK-1.13.2-BIN-SCALA_2.11_build里的文件放到/opt/cloudera/parcel-repo
cp FLINK_ON_YARN-1.13.2.jar /opt/cloudera/csd/