使用Docker搭建Flink集群

O_1CxH

已于 2022-06-26 11:31:35 修改

阅读量5.7k

点赞数 5

分类专栏： Flink大数据 Kafka大数据文章标签： docker flink 容器

于 2022-06-24 21:27:46 首次发布

本文链接：https://blog.csdn.net/o_1cxh/article/details/125440417

版权

本文介绍了如何使用docker-compose便捷地搭建Flink集群。通过安装docker和docker-compose，下载指定版本的Flink镜像，编写docker-compose.yml文件，即可实现一键搭建。此外，文中还提及后续计划加入kafka和zookeeper，丰富集群功能。

摘要由CSDN通过智能技术生成

使用Docker搭建Flink集群

在学习大数据框架的时候，需要一个真实的环境。我们知道，像spark、flink这些计算框架都有多种运行模式：

在本地使用多线程模拟集群
真正的分布式集群

如果直接在IDE（Intellj）里面编译和运行写好的程序，实际上是用的前一种运行模式；如果想尝试真正的生产环境中任务的提交和管理，则需要搭建一个Flink集群。

很多教程在搭建集群的时候使用的是虚拟机（Ubuntu或者CentOS），这样开销比较大，因此选择docker容器化部署的方式搭建。

docker-compose一键搭建

在参考了网上的资料以及走了很多弯路之后（用docker一个个自己搭建，出了很多问题；以及用homebrew安装失败；docker开一个centos，里面套娃安装docker也不行），发现目前最简单的方式应该就是docker-compose了，步骤如下：

步骤

（1）安装docker（如果是PC，可以直接安装桌面版docker，省事；如果是服务器，根据系统不同用yum或者apt）

# example: CentOS
yum install docker-ce docker-ce-cli containerd.io
systemctl start docker

（2）安装docker-compose，我安装的是桌面版的，这个一起安装了

（3）使用docker pull下载镜像，镜像名是flink，tag是1.14.4-scala_2.12-java8，镜像可以去docker hub上直接搜索

docker pull flink:1.14.4-scala_2.12-java8

（4) -compos编写dockere.yml

version: "3.7"
services:
  FlinkJobManager:  # define the job manager service
    image: flink:1.14.4-scala_2.12-java8
    container_name: FlinkJobManager
    hostname: FlinkJobManager
    expose:
      - "6123"
    ports:
      - "8081:8081"  # map port 8081 of container to port 8081 of localhost 
    command: jobmanager