目录
2【hadoop01操作】修改配置文件,conf/flink-conf.yaml
3【hadoop01操作】,修改配置文件,conf/slaves
| |
名称 | ip |
hadoop01 | 192.168.204.130 |
hadoop02 | 192.168.204.131 |
hadoop03 | 192.168.204.132 |
1注意
本小节的操作,基于:大数据集群(Hadoop生态)安装部署
环节中所构建的Hadoop集群
如果没有Hadoop集群,请参阅前置内容,部署好环境。
2简介
Flink同Spark一样,是一款分布式内存计算引擎,可以支撑海量数据的分布式计算。
Flink在大数据体系同样是明星产品,作为最新一代的综合计算引擎,支持离线计算和实时计算。
在大数据领域广泛应用,是目前世界上除去Spark以外,应用最为广泛的分布式计算引擎。
我们将基于前面构建的Hadoop集群,部署Flink Standalone集群
Spark更加偏向于离线计算而Flink更加偏向于实时计算。
3安装
1【hadoop01操作】下载安装包
cd /mwd
wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz
# 解压
cd /mwd
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /export/server/
# 软链接
ln -s /export/server/flink-1.10.0 /export/server/flink
-
2【hadoop01操作】修改配置文件,
conf/flink-conf.yaml
vim /export/server/flink/conf/flink-conf.yaml
# jobManager 的IP地址
jobmanager.rpc.address: hadoop01
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
#是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
#JobManager的Web界面的端口(默认:8081)
jobmanager.web.port: 8081
-
3【hadoop01操作】,修改配置文件,
conf/slaves
vim /export/server/flink/conf/slaves
hadoop01
hadoop02
hadoop03
-
4【hadoop01操作】分发Flink安装包到其它机器
cd /export/server
scp -r flink-1.10.0 hadoop02:`pwd`/
scp -r flink-1.10.0 hadoop03:`pwd`/
-
5【hadoop02,hadoop03操作软连接】
ln -s /export/server/flink-1.10.0 /export/server/flink
-
6【hadoop01操作】,启动Flink
/export/server/flink/bin/start-cluster.sh
-
7验证Flink启动
# 浏览器打开
http://hadoop01:8081
-
8提交测试任务
【hadoop01执行】
/export/server/flink/bin/flink run /export/server/flink-1.10.0/examples/batch/WordCount.jar