flink-1.17.0-bin-scala_2.12.tgz以及WordCount的jar包我都已经上传到我的主页了,需要自取
1.在hadoop100中下载flink
1.1下载flink-1.17.0-bin-scala_2.12.tgz
1.2使用xftp将flink-1.17.0-bin-scala_2.12.tgz上传到hadoop100的opt/software文件夹下
1.3解压flink-1.17.0-bin-scala_2.12.tgz
1.3.1使用cd命令切换到/opt/software目录下
cd /opt/software
1.3.2使用tar命令解压
切换为root用户进行解压
tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/
可以看到解压已经完成了
2.修改集群配置
2.1进入解压后的flink下的conf目录修改flink-conf.yaml文件
cd flink-1.17.0/conf [root@hadoop100 conf]# vim flink-conf.yaml
修改如下内容:
# JobManager节点地址. jobmanager.rpc.address: hadoop100 jobmanager.bind-host: 0.0.0.0 rest.address: hadoop100 rest.bind-address: 0.0.0.0 # TaskManager节点地址.需要配置为当前机器名 taskmanager.bind-host: 0.0.0.0 taskmanager.host: hadoop100
2.2修改workers
修改workers文件,指定hadoop100、hadoop101和hadoop102为TaskManager
vim workers
2.3修改masters
修改masters文件
vim masters
2.4分发安装目录
配置修改完后将Flink安装目录分发给另外两个服务器
scp -r /opt/module/flink-1.17.0 root@hadoop101:/opt/module
hadoop102同理
2.5修改hadoop101及102配置
修改hadoop101和hadoop102的 taskmanager.host
将taskmanager.host修改为当前机器名
3.启动集群
3.1在hadoop100上执行start-cluster.sh启动flink集群
[root@hadoop100 flink-1.17.0]# bin/start-cluster.sh
3.2查看进程
3.2.1hadoop100
3.2.2hadoop101
3.2.3hadoop102
4.访问Web UI
启动成功后,可以访问http://hadoop100:8081对flink集群和任务进行监控管理
这里可以看到TaskManagers的数量为3,由于每个默认TaskManager的slot数量为1,所以总Slots数和可用slots数也为3
到这一步flink环境已经配置完成,想要实现WordCount单词计数流处理的可以完成下面的步骤
5.hadoop100下载netcat
yum -y install netcat
下载完成后输入命令
netcat -lk 7777
6.实现WordCount
点击Submit New Job
点击Add New上传WordCount jar包
选择下载的jar包
然后点击
填上对应的值后点击submit
可以看到这个任务已经在RUNING了
在linux命令行里输入
hello flink
打开Web UI点击print
再点击TaskManagers可以看到是hadoop102在进行工作
随后点击View TaskManagers log
可以看到已经在计数了
接着在linux命令行输入单词,可以在这里看到单词计数
例如再输入hello java