1.运行环境
- Linux-CentOS6.5
- JDK-1.8
- hadoop-2.4.1
集群规划:搭建四个节点的集群,各主机角色规划如下:
hadoop04:JobManager
hadoop03:TaskManager
hadoop02:TaskManager
hadoop01:TaskManager
2.下载安装包
下载flink安装包,注意选择一个与hadoop版本匹配的包。
3.上传、解压安装包
在hadoop04主机上创建目录:
[hdp@hadoop04 ~]$ mkdir /home/hdp/app/flink
上传安装包到该目录下,解压:
[hdp@hadoop04 flink]$ tar -zxvf flink-1.7.2-bin-hadoop24-scala_2.11.tgz
修改环境变量(只需要在需要提交任务的节点上修改):
[hdp@hadoop04 flink]$ sudo vim /etc/profile
在profile中加入两行:
export FLINK_HOME=/home/hdp/app/flink/flink-1.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin:$FLINK_HOME/bin
然后source环境变量:
[hdp@hadoop04 flink]$ source /etc/profile
4.修改配置
进入[flink-home]/conf目录下,需要修改的配置文件为flink-conf.yaml、slaves
4.1 flink-conf.yaml配置
基础配置
# jobManager 的IP地址
jobmanager