B02 - 066、搭建Flink高可用集群

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、搭建Flink高可用集群
  1.1  修改conf / masters。
  1.2  修改flink-conf.yaml。
  1.3  启动zk、hadoop。
  1.4  创建目录。
  1.5  启动ZooKeeper仲裁。
  1.6  启动HA群集。
  1.7  停止ZooKeeper仲裁和集群。
  1.8  浏览网页。
  1.9  杀死第一台机器进程，测试高可用。

---

记忆词：

  ...

---

 B02 - 999、部署大数据环境及部分编译

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、搭建Flink高可用集群

  1.1 ~ 修改conf / masters。

zrk691101:8082
zrk691102:8082

  1.2 ~ 修改flink-conf.yaml。

    1.2.1 .  有注释版。

# jobmanager.rpc.address: zrk691101

high-availability: zookeeper
high-availability.zookeeper.quorum: zrk691101:2181,zrk691102:2181,zrk691103:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /default_one  # important: customize per cluster每个集群自定义
high-availability.storageDir: hdfs://zrk691101:8020/flink/recovery

fs.hdfs.hadoopconf: /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://zrk691101:8020/flink/checkpoints
state.savepoints.dir: hdfs://zrk691101:8020/flink/savepoints

taskmanager.heap.mb: 2048
jobmanager.heap.mb: 2048

taskmanager.tmp.dirs: /export/servers/flink-1.7.2/tmp

jobmanager.web.port: 8081

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port: 6123

# The heap size for the JobManager JVM

jobmanager.heap.size: 1024m

# The heap size for the TaskManager JVM

taskmanager.heap.size: 1024m


# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.

taskmanager.numberOfTaskSlots: 2

# The parallelism used for programs that did not specify and other parallelism.

parallelism.default: 2

rest.port: 8081

    1.2.2 .  无注释版。

high-availability: zookeeper
high-availability.zookeeper.quorum: zrk691101:2181,zrk691102:2181,zrk691103:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /default_one  # important: customize per cluster每个集群自定义
high-availability.storageDir: hdfs://zrk691101:8020/flink/recovery

fs.hdfs.hadoopconf: /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs://zrk691101:8020/flink/checkpoints
state.savepoints.dir: hdfs://zrk691101:8020/flink/savepoints

taskmanager.heap.mb: 2048
jobmanager.heap.mb: 2048

taskmanager.tmp.dirs: /export/servers/flink-1.7.2/tmp

jobmanager.web.port: 8081


jobmanager.rpc.port: 6123

jobmanager.heap.size: 1024m


taskmanager.heap.size: 1024m

parallel pipeline.

taskmanager.numberOfTaskSlots: 2

parallelism.default: 2

rest.port: 8081

    1.2.3 .  参数指南。

    

  1.3 ~ 启动zk、hadoop。

注：如果没有安装ZK，需要配置Flink的conf目录下自带的zoo.cfg。

  1.4 ~ 创建目录。

hdfs dfs -mkdir -p /flink/checkpoints
hdfs dfs -mkdir -p /flink/savepoints
hdfs dfs -mkdir -p /flink/recovery
hdfs dfs -chown -R hdfs:supergroup /flink/

  3.5 ~ 启动ZooKeeper仲裁。

如果已经启动zk，就无须启动flink自带的zk。

bin/start-zookeeper-quorum.sh

  1.6 ~ 启动HA群集。

cd /export/servers/flink-1.7.2/
bin/start-cluster.sh

  1.7 ~ 停止ZooKeeper仲裁和集群。

cd /export/servers/flink-1.7.2/

bin/stop-cluster.sh
bin/stop-zookeeper-quorum.sh

  1.8 ~ 浏览网页。

http://zrk691101:8082
http://zrk691101:8082/#/jobmanager/config

  1.9 ~ 杀死第一台机器进程，测试高可用。【转换较慢，需等待】

http://zrk691102:8082

银烛秋光冷画屏，轻罗小扇扑流萤。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，搭建Flink高可用集群完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

version manager 支持并行开发的机制是（　　　）

…
A、文件加锁
B、标签
C、文件夹
D、分支/合并
…
D

银烛秋光冷画屏，轻罗小扇扑流萤。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

银烛秋光冷画屏，轻罗小扇扑流萤。