[Flink] 01 -flink-1.4.0安装与配置

环境

• 宿主机：Windows 10 64_bit
• 虚拟机：VMware 15 pro
  • CentOS 7.5 64_bit（3台：1个master、2个slave）
  • jdk1.8.0_211
  • Hadoop-2.6.5
  • MySQL 5.7.26
  • scala-2.11.4
  • spark-2.0.2
  • flink 1.4.0
• ssh工具：SecureCRT 7.3

目录

1、下载、上传压缩文件至Linux服务器

2、配置RPC调用地址，即修改flink-conf.yaml

3、分别配置主、从节点主机名

4、复制flink包到从节点，并配置和加载环境变量

5、验证：jps、web查看

正文

主、从节点都要安装

1、下载、上传压缩文件至Linux服务器

1）下载地址
2）使用SecureCRT的SFTP上传到master节点指定目录下：

sftp> cd /opt/bigdata
sftp> pwd
/opt/bigdata
sftp> put E:\share\flink-1.4.0-bin-hadoop26-scala_2.11.tgz
Uploading flink-1.4.0-bin-hadoop26-scala_2.11.tgz to /opt/bigdata/flink-1.4.0-bin-hadoop26-scala_2.11.tgz
  100% 211473KB  42294KB/s 00:00:05     
E:/share/flink-1.4.0-bin-hadoop26-scala_2.11.tgz: 216548505 bytes transferred in 5 seconds (42294 KB/s)
sftp>

2、配置RPC调用地址，即修改flink-conf.yaml文件

解压

[root@master bigdata]# pwd
/opt/bigdata
[root@master bigdata]# tar zxvf flink-1.4.0-bin-hadoop26-scala_2.11.tgz
...

[root@master conf]# pwd
/opt/bigdata/flink-1.4.0/conf
[root@master conf]# cat flink-conf.yaml
...
# JobManager runs.

#jobmanager.rpc.address: localhost
jobmanager.rpc.address: master
...

注释掉上一句，添加这句：

jobmanager.rpc.address: master

3、分别配置主、从节点主机名

1）配置主节点主机名masters文件

[root@master conf]# pwd
/opt/bigdata/flink-1.4.0/conf
[root@master conf]# cat masters
localhost:8081
master:8081

2）配置从节点主机名slaves文件

[root@master conf]# cat slaves
localhost
slave1
slave2

4、复制flink包到从节点，并配置和加载环境变量

1）远程传输flink包到从节点slave1 和slave2

[root@master bigdata]# pwd
/opt/bigdata
[root@master bigdata]# scp -r flink-1.4.0 root@slave1:/opt/bigdata/flink-1.4.0
...
[root@master bigdata]# scp -r flink-1.4.0 root@slave2:/opt/bigdata/flink-1.4.0
...

2）所有节点都配置环境变量，并重新加载环境变量

主节点：

[root@master bigdata]# cat /etc/profile
...
FLINK_HOME=/opt/bigdata/flink-1.4.0
export PATH=$PATH:$FLINK_HOME/bin
[root@master bigdata]# source /etc/profile

从节点，同样的操作。

5、验证：jps、web查看

[root@master bigdata]# jps
28808 SecondaryNameNode
36697 Jps
28667 NameNode
28955 ResourceManager
30398 QuorumPeerMain

主节点-启动集群：

[root@master flink-1.4.0]# pwd
/opt/bigdata/flink-1.4.0
[root@master flink-1.4.0]# bin/start-cluster.sh

主节点-查看服务进程：JobManager

[root@master flink-1.4.0]# jps
37187 JobManager
28808 SecondaryNameNode
28667 NameNode
28955 ResourceManager
37580 TaskManager
37628 Jps
30398 QuorumPeerMain

从节点：TaskManager

[root@slave1 bigdata]# jps
10144 NodeManager
10514 QuorumPeerMain
14275 TaskManager
10072 DataNode
14319 Jps

[root@slave2 bigdata]# jps
26322 NodeManager
26233 DataNode
26666 QuorumPeerMain
30267 Jps
30222 TaskManager

web控制台，浏览器访问：http://master:8081/#/overview

主节点-关闭集群：

[root@master flink-1.4.0]# pwd
/opt/bigdata/flink-1.4.0
[root@master flink-1.4.0]# bin/stop-cluster.sh
...