docker搭建flink集群

1.拉取镜像

#默认拉取最新版本
docker pull flink

#检查镜像
docker images | grep flink

2.编写flink的yaml文件

注意:云服务器需要设置安全策略放行8081端口,否则访问失败

编写yaml配置文件 docker-compose.yaml

The Web Client is on port 8081

JobManager RPC port 6123

TaskManagers RPC port 6122

TaskManagers Data port 6121

version: "1.0"
services:
  jobmanager:
    image: flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
 
  taskmanager:
    image: flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

3.执行docker-compose.yml文件

注意:docker-compose.yml文件同级目录执行

#运行flink服务 
docker-compose up -d

#检查flink的docker容器是否启动
docker ps | grep flink

#查看进程是否存在
netstat -anltp|grep 8081

#检查日志是否正常
docker logs -f -t --tail 100 flink_taskmanager

4.登陆flink页面

注意:云服务器需要设置安全策略放行8081端口,否则访问失败

http://124.71.65.6:8081

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在Docker安装Flink,可以按照以下步骤进行操作: 1. 首先,确定你已经安装DockerDocker Compose。如果没有安装,请根据你的操作系统进行安装。 2. 下载Flink安装文件(例如flink-1.10.0.tar.gz)和相关依赖(例如jdk1.8.0_251.tar.gz)。 3. 在你的项目目录中创建一个新的文件夹,用于存放Flink的配置文件、日志和临时文件。在这个文件夹中,你可以包含一个docker-compose.yml文件来定义Flink容器的配置。 4. 在docker-compose.yml文件中,配置Flink容器的相关参数,包括挂载卷、环境变量、端口映射等。你可以参考引用中的示例来进行配置。 5. 编写一个启动脚本(例如run.sh),用于构建Flink镜像并启动容器。你可以使用Dockerfile来构建镜像,然后使用docker-compose命令来启动容器。在启动脚本中,你需要将Flink安装文件和相关依赖复制到容器内部。 6. 运行启动脚本,等待Docker构建Flink镜像并启动容器。你可以根据需要查看日志文件,以确保容器正常运行。 总结起来,安装Docker并在其中运行Flink需要以下步骤: - 确保DockerDocker Compose已安装; - 下载Flink安装文件和相关依赖; - 创建一个文件夹并编写docker-compose.yml文件来配置Flink容器; - 编写一个启动脚本,并在其中构建Flink镜像并启动容器。 请注意,具体的步骤可能因个人需求和系统环境而有所不同。你可以根据自己的情况进行适当的调整。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [flink集群(docker版)配置及使用](https://blog.csdn.net/zxj19880502/article/details/129578158)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [大数据应用技术 | 使用 Docker搭建 Flink 集群 | FlinkStreaming实时数据流处理程序实现词频统计](https://blog.csdn.net/Unirithe/article/details/122115286)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值