docker下flink集群配置

最新推荐文章于 2024-06-25 09:28:27 发布
最新推荐文章于 2024-06-25 09:28:27 发布
阅读量698 收藏
点赞数
文章标签： docker flink 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43034505/article/details/110789448
版权
该博客详细介绍了如何在Docker环境下配置Flink集群，包括从清华源下载Flink 1.11.2，修改配置文件如flink-conf.yaml、masters和workers，设置环境变量，将Flink分发到slave节点，并最终启动集群，成功验证通过Web UI访问。
摘要由CSDN通过智能技术生成

这里的集群配置是基于之前文章里的配置基础上进行的

下载flink

选择清华源，下载了最新的版本的flink-1.11.2

进入opt目录

wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz

然后解压

tar -zvxf  flink-1.11.2-bin-scala_2.11.tgz

修改配置文件

flink-conf.yaml

修改

jobmanager.rpc.address:master

masters

只保留master

workers

只保留slave1，slave2

添加flink的环境变量

vi ~/.bashrc

添加如下

#flink
export FLINK_HOME=/opt/flink-1.11.2
export PATH=$PATH:$FLINK_HOME/bin
source ~/.bashrc

输入

f
最低0.47元/天 解锁文章
prim_sun
关注
使用Docker搭建Flink集群
O_1CxH的博客
06-24 5719
学习大数据框架的时候，需要一个Flink集群环境。很多教程在搭建集群的时候使用的是Linux虚拟机，这样开销比较大；本文选择docker容器化部署的方式搭建。
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试 curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install Docker-Compose curl -L https://github.com/docker/compose/releases/download/1.1.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose ###获取repo ###构建图像 图像基于 Ubuntu Trusty
flink docker-compose 配置
u013257767的博客
12-05 752
version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TZ=Asia/Shanghai deploy: resources:
docker-compose部署Flink及Dinky
最新发布
u013071014的博客
06-25 1142
centos7使用docker-compose部署flink及dinky
MacOS：Docker搭建Flink集群
chijiao8902的博客
07-14 637
前言：docker环境正常、docker-compose已安装，这里使用docker-compose安装 一、创建docker-compose.yml文件 二、在当前文件目录下执行docker-compose up -d（-d：后台运行） 三、这里flink镜像已经下载，查看容器是否...
Flink 配置2：Docker 部署 Flink 集群环境
北_鱼的博客
01-03 1493
基于 Docker 部署 FLink 集群环境。
docker-compose 部署flink集群
debby
04-12 1806
docker-compose常用命令：https://blog.csdn.net/qq_42267173/article/details/124687804。解决参考：https://blog.csdn.net/xiojing825/article/details/79494408。docker-compose up -d 后台运行，这个一遍在生产环境使用。
基于docker的flink集群搭建配置
crhcyq的博客
01-11 1962
基于docker的flink集群配置 文章目录基于docker的flink集群配置一、实验目的二、实验环境三、实验内容3.1 安装flink3.2 修改配置文件修改flink-conf.yaml修改masters修改workers3.3 添加环境变量3.4 将flink分发到slave节点3.5 启动集群四、实验心得 一、实验目的 基于docker搭建flink集群，一个master两个slave（slave1、slave2） 二、实验环境 1、docker 2、flink 2.11.2 三、实验内容 3
大数据应用技术 | 使用 Docker搭建 Flink 集群 | FlinkStreaming实时数据流处理程序实现词频统计
希望每天都能进步一点点
12-23 2101
大数据应用技术 | 使用 Docker搭建 Flink 集群 | FlinkStreaming实时数据流处理程序实现词频统计
docker搭建flink集群
javajy的博客
06-11 1045
注意：云服务器需要设置安全策略放行8081端口，否则访问失败。注意：docker-compose.yml文件同级目录执行。需要设置安全策略放行8081端口，否则访问失败。编写yaml配置文件。
flink standalone部署的dockerfile
04-26
flink 独立集群部署的dockerfile、dockercompose文件
使用Docker快速部署Flink分布式集群
敏叔
03-03 2527
本文其实是介绍了最长见的两种使用docker的场景，一个是自己开发的程序如何用docker跑起来，第二是使用现成的容器更快速让我们入门。这两种方式在以后会经常碰到。
flink集群(docker版)配置及使用
03-16 2628
的启用、存储方式、存储位置，在应用代码中配置，其中存储方式、存储位置，也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数，但应用代码中配置优先级更高。(3) Flink Checkpoint是Flink自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序Checkpoint相关参数，当程序启动之后，剩下的就全交给Flink自行管理。Checkpoint是增量做的，每次的时间较短，数据量较小。
使用Docker部署Flink大数据
03-17 1091
redis整个项目的部署和工作环境如上图所示。由于 kafka 和 hbase 均需要 zookeeper 的支持，所以没有使用集成式的 hbase docker镜像，所以笔者自己基于 hbase 1.5.0 制作了一版镜像，由于 hbase 的 standlone模式端口会随机生成，故也搭建成了伪分布式，HMaster 和 HRegionserver均在同一个 Docker Container 中。
聊聊Flink：Docker搭建Flink
riemann_的博客
04-28 1251
现在，可以通过Flink Web界面提交和管理Flink作业。首先，将一个Flink作业的JAR文件上传到Flink Web界面。其中，<jobmanager_container_id>是Flink集群中jobmanager容器的ID，/path/to/job.jar是Flink作业的JAR文件路径。jobmanager用于管理Flink作业，taskmanager用于执行Flink作业的任务。注意：上面的提交是旧的方式，笔者这里用的Flink 1.18版本，上面的命令行已经舍弃了。
基于Docker安装flink
Daniel462038751的专栏
11-22 1373
拉取flink镜像。 docker pull flink:1.10.0-scala_2.12 编写docker-compose.yml 注意，会使用8081等端口，要事先保证8081端口未被占用。 version: "2.1" services: jobmanager: image: ${FLINK_DOCKER_IMAGE_NAME:-flink} expose: - "6123" ports: - "8081:8081" comman
docker 部署flink
08-28
2. 创建一个名为 `docker-compose.yml` 的文件，并在其中定义你的 Flink 集群配置。以下是一个示例配置： ```yaml version: '3.7' services: jobmanager: image: flink:1.13.0 ports: - "8081:8081" command: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值