Flink 配置2：Docker 部署 Flink 集群环境

北_鱼

已于 2024-04-22 20:03:03 修改

阅读量1.3k

点赞数 17

分类专栏：环境配置 # 大数据环境部署文章标签： docker flink 大数据 big data 容器运维

于 2024-01-03 12:05:07 首次发布

本文链接：https://blog.csdn.net/White_Ink_/article/details/135360307

版权

环境配置同时被 2 个专栏收录

12 篇文章 1 订阅

订阅专栏

大数据环境部署

6 篇文章 0 订阅

订阅专栏

Flink 部署笔记：

下面的1、2两个方法选其一即可。

1 使用docker命令进行构建

创建网络
```
docker network create flink-network
```

配置属性
在命令行界面直接输入。

FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"

启动jobmanager容器

docker run \
--rm \
--name=jobmanager \
--network flink-network \
--publish 8081:8081 \
--env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
flink:1.14.2-scala_2.12 jobmanager

启动taskmanager容器
可启动一个或多个。

docker run \
--rm \
--name=taskmanager \
--network flink-network \
--env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
flink:1.14.2-scala_2.12 taskmanager

2 使用docker-compose进行构建（推荐）

准备工作
创建flink-docker文件夹，用于保存后续工作所需文件。
（可跳过）使用1.1方法启动之后，使用下面命令复制出conf文件，后续可挂载。
```
docker cp jobmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/jobmanager
docker cp taskmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/taskmanager
```
修改flink-conf.yaml文件。附录给出了示例。

安装docker-compose

安装pip
```
apt install python3-pip
```
安装docker-compose
```
pip install docker-compose
```
验证安装
```
docker-compose -version
```

创建docker-compose.yml
在一个文件夹中，创建docker-compose.yml，写入以下内容。（如果做了第一步，则取消下面的注释。注意volumes中的目录路径。）

version: "2.2"
services:
  jobmanager:
    image: flink:1.14.2-scala_2.12
    ports:
      - "8081:8081"
    command: jobmanager
    # volumes: - /home/user/flink-docker/jobmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager

  taskmanager:
    image: flink:1.14.2-scala_2.12
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 3
    # volumes: - /home/user/flink-docker/taskmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 3