Flink 配置2:Docker 部署 Flink 集群环境

Flink 部署笔记:

下面的1、2两个方法选其一即可。

1 使用docker命令进行构建

  1. 创建网络
    docker network create flink-network
    
  2. 配置属性
    在命令行界面直接输入。
    FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"
    
  3. 启动jobmanager容器
    docker run \
    --rm \
    --name=jobmanager \
    --network flink-network \
    --publish 8081:8081 \
    --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
    flink:1.14.2-scala_2.12 jobmanager
    
  4. 启动taskmanager容器
    可启动一个或多个。
    docker run \
    --rm \
    --name=taskmanager \
    --network flink-network \
    --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
    flink:1.14.2-scala_2.12 taskmanager
    

2 使用docker-compose进行构建(推荐)

  1. 准备工作
    创建flink-docker文件夹,用于保存后续工作所需文件。
    (可跳过)使用1.1方法启动之后,使用下面命令复制出conf文件,后续可挂载。
    docker cp jobmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/jobmanager
    docker cp taskmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/taskmanager
    
    修改flink-conf.yaml文件。附录给出了示例。
  2. 安装docker-compose
    • 安装pip
      apt install python3-pip
      
    • 安装docker-compose
      pip install docker-compose
      
    • 验证安装
      docker-compose -version
      
  3. 创建docker-compose.yml
    在一个文件夹中,创建docker-compose.yml,写入以下内容。(如果做了第一步,则取消下面的注释。注意volumes中的目录路径。)
    version: "2.2"
    services:
      jobmanager:
        image: flink:1.14.2-scala_2.12
        ports:
          - "8081:8081"
        command: jobmanager
        # volumes: - /home/user/flink-docker/jobmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
        environment:
          - |
            FLINK_PROPERTIES=
            jobmanager.rpc.address: jobmanager
    
      taskmanager:
        image: flink:1.14.2-scala_2.12
        depends_on:
          - jobmanager
        command: taskmanager
        scale: 3
        # volumes: - /home/user/flink-docker/taskmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml
        environment:
          - |
            FLINK_PROPERTIES=
            jobmanager.rpc.address: jobmanager
            taskmanager.numberOfTaskSlots: 3       
    
  4. 启动
    docker-compose up -d
    
  5. 终止
    docker-compose down
    

3 提交作业

访问宿主机的8081端口即可访问 web 页面,在 web 页面提交代码即可。

  • 17
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值