docker下Flink安装

最新推荐文章于 2024-08-19 02:17:51 发布
最新推荐文章于 2024-08-19 02:17:51 发布
阅读量701 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45548774/article/details/112413029
版权
这篇博客详细介绍了如何在Docker环境下安装Flink集群。首先从下载Flink开始，然后在master节点配置Flink，包括修改端口和设置环境变量。接着，配置masters和workers，将配置文件分发到slave节点。最后，启动集群并验证通过访问Flink的Web UI界面来确认安装成功。
摘要由CSDN通过智能技术生成

下载flink

进入master节点的opt目录

wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz

解压

tar -zvxf  flink-1.11.2-bin-scala_2.11.tgz

配置Flink

在master节点下进入到conf目录下，找到flink-conf.yaml
在这里插入图片描述

vim flink-conf.yaml

修改

jobmanager.rpc.address:master
jobmanager.rpc.port: 6123

在这里插入图片描述
6123为默认端口，如果有冲突可以自行修改
这里Flinkweb默认的端口是8081，但是如果出现冲突，可以进行修改&#x

最低0.47元/天 解锁文章
来吧，兄弟，飘起来！
关注
docker安装flink
yy的博客
12-05 879
# from https://github.com/big-data-europe/docker-flink docker network create flink-net docker run --name flink-master --net flink-net -e ENABLE_INIT_DAEMON=false -d bde2020/flink-master:1.7.2-hadoop2.8 docker run --name flink-worker --net flink-net -e EN.
flink docker-compose 配置
u013257767的博客
12-05 763
version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TZ=Asia/Shanghai deploy: resources:
Docker安装flink
11-19 386
使用docker-compose启动filnk 编写docker-compose.yml文件 vi /usr/local/flink/docker-compose.yml 内容如下： version: "2.1" services: jobmanager: image: flink:scala_2.11 expose: - "6123" ports: - "8081:8081" command: jobmanager environment
第二十五节 Docker 部署 Flink on Yarn
最新发布
weixin_40189744的博客
08-19 75
一、环境系统版本 centos7.6 docker版本 Docker version 20.10.10 准备文件： hadoop-3.3.1.tar.gz #hadoop安装包 hadoopfiles.tar.gz #hadoop内部各种配置文件 jdk1.8.0_201.tar.gz #安装ja...
docker安装flink sql组件
01-26
flink sql学习组件，里面包含flink、flink sql clienk、kafka 、ES、mysql等，使用docker命令加载即可，适用于macos，linux系统学习flink
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
docker 部署 Flink 和 Kafka
每天更新大数据面经和技术
12-19 954
docker
docker-flink:Apache Flink Docker映像
05-05
Flink码头工人 Apache Flink码头工人镜像到： 设置运行一个Flink Master和多个Flink Worker的独立集群 在Scala，Java或Python中构建Flink应用程序以在Flink集群上运行 当前支持的版本： 用于Hadoop 3.2和Scala ...
docker 安装flink
T-B的博客
05-23 479
相关端口 The Web Client is on port 8081 JobManager RPC port 6123 TaskManagers RPC port 6122 TaskManagers Data port 6121 mkdir /opt/flink -p vim /opt/flink/docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: ...
docker 安装 flink
山巅
05-27 1832
1.创建docker-compose.yml文件 version: "2.2" services: jobmanager: image: flink:1.14.4-scala_2.11 ports: - "8081:8081" command: jobmanager environment: - | FLINK_PROPERTIES= jobmanager.rpc.address: jobmanager
基于docker安装flink
batman
05-09 1250
注意：当你在流式查询上使用这种模式时，Flink 会将结果持续的打印在当前的控制台上。如果流式查询的输入是有限数据集，那么 Flink 在处理完所有的输入数据之后，作业会自动停止，同时控制台上的打印也会自动停止。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。Tableau模式（tableau mode）更接近传统的数据库，会将执行的结果以制表的形式直接打在屏幕之上。表格模式（table mode）在内存中物化结果，并将结果用规则的分页表格的形式可视化展示出来。
聊聊Flink：Docker搭建Flink
riemann_的博客
04-28 1314
现在，可以通过Flink Web界面提交和管理Flink作业。首先，将一个Flink作业的JAR文件上传到Flink Web界面。其中，<jobmanager_container_id>是Flink集群中jobmanager容器的ID，/path/to/job.jar是Flink作业的JAR文件路径。jobmanager用于管理Flink作业，taskmanager用于执行Flink作业的任务。注意：上面的提交是旧的方式，笔者这里用的Flink 1.18版本，上面的命令行已经舍弃了。
docker 安装flink；flink定位、运行
weixin_42357472的博客
06-25 6005
flink定位 flink：数据采集、提取 tensorflow：模型训练、部署 另：更原始数据数仓（收集：flume+kafka；入库：flink+clickhouse） 注意：docker pull *** 超时下载错误问题，更改国内源 win10 docker desktop再设置里更改 "registry-mirrors": [ "https://registry.docker-cn.com", "http://hub-mirror.c.163.com", "http
docker搭建flink服务
u014007760的博客
09-08 2208
docker搭建flink服务
五分钟，Docker安装flink，并使用flinksql消费kafka数据
Liu_Arvin的芝士小栈
11-23 1656
根据自己的flink版本，下载对应的 flink-sql-connector-kafka jar包。命令，用户宿主机和docker容器文件传输。确保有一个可用的kafka，如果没有，可以五分钟内，Docker搭建一个。将下载的jar包，分别在jobmanager，taskmanager。顾名思义，用于连接flinksql和kafka。并且通过python，简单写一个生产者。可以看出，我的版本是1.18.0。进入jobmanager中，执行。进入 flink的bin目录。
Docker安装flink及如何避坑
03-17 776
flink作为第三代大数据处理方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值