flink standalone docker环境

最新推荐文章于 2024-09-23 06:00:00 发布
最新推荐文章于 2024-09-23 06:00:00 发布
阅读量1k 收藏
点赞数
文章标签： docker flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huyangyamin/article/details/121108721
版权
本文介绍了如何在Docker环境下搭建Flink standalone，并着重讲解了如何动态增加端口映射，特别是在Mac环境下。通过修改/docke-entrypoint.sh和/opt/flink/bin/jobmanager.sh文件，实现了JobManager的远程debug端口9091，并确保Docker容器的端口映射能正确匹配这一设置。
摘要由CSDN通过智能技术生成

docker搭建

docker run -i -d -t  --name flink-jm -h flink-jm -p 18088:8088 -p 18081:8081 --network=flink-network  flink:1.14.0-scala_2.12-java8 jobmanager



docker run -itd --name flink-tm -h flink-tm  -e JOB_MANAGER_RPC_ADDRESS=flink-jm --network flink-network flink:1.14.0-scala_2.12-java8 taskmanager

动态增加端口映射

Mac下 Docker 动态添加端口 - 简书

针对 jobmanger 实际发现

/docker-entrypoint.sh 调用入口（1）

/opt/flink/bin/jobmanager.sh

因此修改/opt/flink/bin/jobmanger.sh

export FLINK_ENV_JAVA_OPTS="${FLINK_ENV_JAVA_OPTS} ${FLINK_ENV_JAVA_OPTS_JM} -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=9091"

达到远程debug的需求，结合动态增加docker容器的端口映射

最低0.47元/天 解锁文章
bug_yym
关注
Flink Standalone集群部署和任务提交
chanyue123的博客
01-29 5617
讲解flink standalone的部署和任务提交
Flink Standalone 集群部署
qq_56870570的博客
03-19 1230
Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其Standalone Cluster 模式的部署。 Standalone Cluster 模式是 Flink 自带的一种集群模式，具体配置步骤如下： 安装部署 1. 前置条件 使用该模式前，需要确保所有服务器间都已经配置好 SSH 免密登录服务。这..
docker部署flink standalone HA
weixin_45230582的博客
12-25 2115
简单的standalone模式可以从dockerhub上找到。 HA： 先从https://github.com/docker-flink/docker-flink 这个网址把文件拉取出来。然后把文件放到Linux系统，进入文件目录。 执行./add-version.sh -r flink-release -f flink-version flink-release 是指已经build的文件目录 ...
flink standalone部署的dockerfile
04-26
flink 独立集群部署的dockerfile、dockercompose文件
Docker中部署Flink：快速部署调试各版本
最新发布
jast
09-23 2153
通过本文介绍的步骤，你可以快速搭建并运行一个基于 Docker 的 Flink 集群。接下来，你可以根据需要调整 TaskManager 的数量、任务并行度等配置，以满足实际应用需求。
flink部署模式（一）- standalone和application
weixin_38251332的博客
06-20 1114
这里采用docker方式部署实现flink的standalone和application部署模式，由于local模式是standalone模式的特例，所以这里就不再演示。Dockfile 镜像构建登录本地镜像仓库：推送镜像：测试镜像可用性创建网络开启jobmanager 开启taskmanager Standalone Mode on Docker 创建网络开启jobmanager 开启taskmanager 提交任务到standalone集群............
(第一弹)Flink——standalone模式部署
bigdata_player
04-30 1077
本文以Flink1.8为例讲解，Flink支持运行与所有的类linux环境，比如linux，mac os x和cygwin(windows)等等。 部署前准备 需要jdk1.8或者更改版本，并设置JAVA_HOME 主机之间需要配置ssh免密码 官网案例 部署 1.下载安装包 wget https://www-eu.apache.org/dist/...
Docker下的Flink
qq_59975945的博客
02-23 1515
Flink中已经实现好了的数据源包括本地集合、文件、Kafka、Socket等。本地集合数据源适用于小规模数据集的测试和调试，可以直接将数据加载到内存中进行处理。文件数据源可以从本地文件系统或分布式文件系统（如HDFS）中读取数据，支持各种格式的文件，如文本文件、CSV文件等。Kafka数据源可以将数据从Kafka消息队列中读取，实现实时数据处理。Socket数据源可以从网络socket中读取数据，常用于接收实时数据流。此外，Flink还支持自定义数据源，开发者可以根据自己的需求实现自己的数据源逻辑。
Flink（四）Standalone 模式部署 Flink 集群实践
qq_33471737的博客
10-30 1011
版本：Flink 1.13.2 - 2021-08-02 Standalone 独立模式的集群： Standalone 独立模式的 Flink 集群不支持 Per-Job Mode 作业模式。 部署前期准备： 四台虚拟机（一个 master，三个 worker，集群节点之间最好可以免密登录） 192.168.116.10 192.168.116.11 192.168.116.12 192.168.116.13 jdk环境 : 下载 flink 二进制包：flink-1.13.2-bin-scala_2
Flink的standalone 模式简单部署
03-21 1563
flink-conf.yaml 文件中进行一下配置： jobmanager.rpc.address: 10.8.45.10 # The RPC port where the JobManager is reachable. jobmanager.rpc.port: 6123 # The heap size for the JobManager JVM
Flink Standalone部署模式
陈小哥cw
06-13 2294
独立模式（Standalone）是部署 Flink 最基本也是最简单的方式： 所需要的所有 Flink 组件， 都只是操作系统上运行的一个 JVM 进程。独立模式是独立运行的， 不依赖任何外部的资源管理平台； 当然独立也是有代价的： 如果资源不足， 或者出现故障， 没有自动扩展或重分配资源的保证， 必须手动处理。所以独立模式 一般只用在开发测试或作业非常少的场景下。另外， 我们也可以将独立模式的集群放在容器中运行。 Flink 提供了独立模式的容器化部署方式，可以在 Docker 或者 Kubernetes
docker安装flink sql组件
01-26
flink sql学习组件，里面包含flink、flink sql clienk、kafka 、ES、mysql等，使用docker命令加载即可，适用于macos，linux系统学习flink
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试 curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install Docker-Compose curl -L https://github.com/docker/compose/releases/download/1.1.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose ###获取repo ###构建图像 图像基于 Ubuntu Trusty
docker安装flink
qq_33472553的博客
02-24 1735
安装flink + kafka
docker安装flink应用
weixin_44022886的博客
11-02 2382
1.安装docker docker install 查看是否安装成功：docker version 因为已经安装过，会提示无法连接，systemctl start docker 就可以启动 2.安装docker-compose 3.用docker-compose安装flink 4.查看docker 镜像 5.查看启动的容器 ...
docker 安装flink
T-B的博客
05-23 493
相关端口 The Web Client is on port 8081 JobManager RPC port 6123 TaskManagers RPC port 6122 TaskManagers Data port 6121 mkdir /opt/flink -p vim /opt/flink/docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: ...
docker standalone下启动flink job无法找到resource manager
kakaweb的博客
02-14 1751
当我们通过docker在standalone下启动flink job时，按照示例（Docker | Apache Flink）能够正确启动。 但我们将配置项中的jobmanager.rpc.address换成自定义的jobmanager_xxx时，jobmanger和taskmanager启动永远报错： org.apache.flink.runtime.jobmaster.JobMaster [] - Could not resolve ResourceManager
docker搭建flink服务
u014007760的博客
09-08 2226
docker搭建flink服务
借助Docker学习大数据：Flink
Liu_Arvin的芝士小栈
08-09 704
借助Docker学习大数据：Flink 注意：本博文基于WSL2 & Docker，如无法达到实验效果，请注意环境差异。如果你使用的是Ubuntu、虚拟机等方式，注意下文提到的hostname。 WSL2安装Docker： https://zhuanlan.zhihu.com/p/163763066 本文注重实验，原理可参考： https://blog.csdn.net/oTengYue/article/details/102689538 一、Flink集群搭建 1.1 镜像下载 首先下载Flink
flink cdc docker
05-27
Apache Flink是一个开源的...Flink CDC Docker则是将Flink CDC应用打包成Docker镜像，方便在不同的环境中进行部署和运行。使用Flink CDC Docker可以快速搭建Flink CDC环境，使得数据流的抽取和实时计算变得更加容易。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值