spark验证部署和_大数据Flink学习系列文章(快学)---03 Flink安装部署

我会不间断的更新,维护,希望可以对正在找大数据工作的朋友们有所帮助.

Flink笔记03－－Flink安装部署

Flink 支持多种部署模式：本地、集群（Standalone / YARN）、云（GCE / EC2）、kubenetes。下面实现的是Standalone模式的部署(未配置高可用)。

1、环境依赖及安装规划

• CentOS 6.9 ，三个节点分别为node1、node2、node3
  备注：在上面的环境中已经安装了Hadoop(2.7)、Spark(2.3)等软件，当然这些不是必须的
• Java 1.8
• Flink 1.9.1 （flink-1.9.1-bin-scala_2.11.tgz）
  下载网址：https://archive.apache.org/dist/flink/flink-1.9.1/
• 使用普通用户安装（我使用的是Spark），软件统一安装在 /opt/modules 目录下
• 选择node1作为主节点；node1、node2、node3作为从节点

2、安装步骤

与Spark软件的安装类似，Flink的安装并不复杂。

1、下载软件并解压缩到 /opt/modules 目录下；配置环境变量 FLINK_HOME，并使之生效；（node1）

2、修改配置文件，配置文件在 $FLINK_HOME/conf目录下（node1）

  # masters 文件定义主节点，内容如下
  node1:8081
  ​
  # slaves 文件定义从节点，内容如下
  node1
  node2
  node3
  ​
  # flink-conf.yaml 配置文件
  # jobmanager的hostname
  jobmanager.rpc.address: node1
  ​
  # 可选
  # jobmanager的port
  jobmanager.rpc.port: 6123
  # jobmanager的可用堆内存量（单位为MB）
  jobmanager.heap.size: 1024
  # 每个taskmanager的可用内存量（单位为MB）
  taskmanager.heap.size: 1024
  # 每个taskmanager的可用cpu数量
  taskmanager.numberOfTaskSlots: 1
  # 应用程序默认并行度
  parallelism.default: 1

3、将node1上的软件分发到node2、node3

3、系统启动

1、启动/关闭 集群服务

在主节点上(node1)，执行$FLINK_HOME/bin/start-cluster.sh

使用 jps 分别检查node1、node2、node3上的进程：

node1：StandaloneSessionClusterEntrypoint、TaskManagerRunner

node2：TaskManagerRunner

node3：TaskManagerRunner

关闭服务，在主节点上执行，stop-cluster.sh

2、单独 启动/关闭 jobmanager、taskmanager

taskmanager.sh (start|start-foreground|stop|stop-all)

jobmanager.sh ((start|start-foreground) host)|stop|stop-all

3、web 界面

node1:8081 【node1：主节点；8081 web服务端口号】

图中标注1：集群中一共有6个 Task Slots

图中标注2：集群中一共有3个 Task Manager（分别为node1、node2、node3）

图中标注3：集群运行了0个Job

从Task Managers选项页上可以看见集群中有3个Task Manager

4、运行测试程序

1、使用命令行提交Flink程序。使用 $FLINK_HOME/bin/flink 命令提交Flink程序。

  flink run /opt/modules/flink-1.9.1/examples/streaming/WordCount.jar 
  --input hdfs://node1:8020/user/spark/data/a.txt 
  --output hdfs://node1:8020/user/spark/data/flinkwordcount

备注：

1、运行测试程序的目的是验证安装的正确性，程序如何编写后文再将；

2、程序在集群中运行，所以最好将 hdfs 作为输入、输出。不要使用本地文件系统作为输入输出；

3、在Flink 1.9.1中要使用HDFS，需要从官方网站下载对应HDFS的jar包，放在 $FLINK_HOME/lib 目录下

2、使用Web界面提交Flink应用程序

按上图数字顺序点击，选择要执行的jar

最后可以看见作业运行的状态：