-
SSH登录CDH服务器;
-
切换到hdfs账号:su - hdfs
-
下载实战用的txt文件:
wget https://github.com/zq2599/blog_demos/blob/master/files/GoneWiththeWind.txt
-
创建hdfs文件夹:hdfs dfs -mkdir /input
-
将文本文件上传到/input目录:hdfs dfs -put ./GoneWiththeWind.txt /input
准备工作完成,可以提交任务试试了。
Session Mode实战
-
SSH登录CDH服务器;
-
切换到hdfs账号:su - hdfs
-
进入目录:/opt/flink-1.7.2/
-
执行如下命令创建Flink集群,-n参数表示TaskManager的数量,-jm表示JobManager的内存大小,-tm表示每个TaskManager的内存大小:
./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
- 创建成功后,控制台输出如下图,注意红框中的提示,表明可以通过38301端口访问Flink: