基于docker的flink集群搭建配置

最新推荐文章于 2024-05-09 08:47:58 发布
最新推荐文章于 2024-05-09 08:47:58 发布
阅读量1.9k 收藏 3
点赞数
文章标签： flink docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crhcyq/article/details/112471383
版权
基于docker的flink集群配置文章目录基于docker的flink集群配置一、实验目的二、实验环境三、实验内容3.1 安装flink3.2 修改配置文件修改flink-conf.yaml修改masters修改workers3.3 添加环境变量3.4 将flink分发到slave节点3.5 启动集群四、实验心得一、实验目的基于docker搭建flink集群，一个master两个slave（slave1、slave2）二、实验环境1、docker2、flink 2.11.2三、实验内容3
摘要由CSDN通过智能技术生成

基于docker的flink集群配置

文章目录

一、实验目的

基于docker搭建flink集群，一个master两个slave（slave1、slave2）

二、实验环境

1、docker
2、flink 2.11.2

三、实验内容

3.1 安装flink

从网上下载 flink-1.11.2-bin-scala_2.11.tgz ，网址如下

http://archive.apache.org/dist/flink/flink-1.11.2/

下载后用以下命令传入docker的master：

docker cp F:/flink-1.11.2-bin-scala_2.11.tgz master:///opt

进入master，解压

tar -zvxf  flink-1.11
最低0.47元/天 解锁文章
爱小齐的玉齐
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
[flink-015] docker搭建两节点flink集群
大数据和机器学习研究
09-04 1736
1 拉取centos镜像 docker pull centos:latest 2.创建两个节点 docker run --name flinkmaster -it centos /bin/bash docker run --name flinkworker -it centos /bin/bash 3.安装jdk 1.8 常规操作，不写了。 4.将flink安装包cp到容器，解压缩 dock...
使用Docker搭建Flink集群
O_1CxH的博客
06-24 5569
学习大数据框架的时候，需要一个Flink集群环境。很多教程在搭建集群的时候使用的是Linux虚拟机，这样开销比较大；本文选择docker容器化部署的方式搭建。
flink docker-compose 配置
u013257767的博客
12-05 721
version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TZ=Asia/Shanghai deploy: resources:
基于docker安装flink
最新发布
batman
05-09 537
注意：当你在流式查询上使用这种模式时，Flink 会将结果持续的打印在当前的控制台上。如果流式查询的输入是有限数据集，那么 Flink 在处理完所有的输入数据之后，作业会自动停止，同时控制台上的打印也会自动停止。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。Tableau模式（tableau mode）更接近传统的数据库，会将执行的结果以制表的形式直接打在屏幕之上。表格模式（table mode）在内存中物化结果，并将结果用规则的分页表格的形式可视化展示出来。
使用Docker 安装 Flink 集群
热门推荐
一尘在心的博客
01-09 1万+
1：下载 https://github.com/melentye/flink-docker 放到系统的任意目录     2：进入目录下 执行 docker-compose up -d 将进行相应的Flink的包的下载   3：设置task Managers  N代表要创建的数量 docker-compose scale flink-taskmanager=N 4:部署和运行一个job ...
MacOS：Docker搭建Flink集群
chijiao8902的博客
07-14 628
前言：docker环境正常、docker-compose已安装，这里使用docker-compose安装 一、创建docker-compose.yml文件 二、在当前文件目录下执行docker-compose up -d（-d：后台运行） 三、这里flink镜像已经下载，查看容器是否...
基于Docker的DevOps搭建
02-23
一直对DevOps感兴趣，最近心血来潮，搭乘Docker搞一搞，Let‘sGo！！！这一步很慢，要好几分钟，可以查看log，看到ok再访问，host必须要设置，不然会是docker生成的一个数字，现在你就可以访问http://localhost看到...
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
Docker redis 集群搭建
01-20
Docker redis 集群搭建 Redis 集群是一个提供在多个 Redis 节点间共享数据的程序集。 Redis 集群并不支持处理多个 keys 的命令,因为这需要在不同的节点间移动数据，从而达不到像 Redis 那样的性能，在高负载的情况...
基于docker搭建redis的配置文件
07-12
redis配置文件
docker swarm 集群搭建和试验
09-09
Docker swarm是一个用于创建Docker主机（运行Docker守护进程的服务器）集群的工具，具备服务发现，负载均衡，任务分发、调度，服务状态一致性保持，滚动更新，安全传输等特性。从docker v1.12开始，docker engine ...
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试 curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install Docker-Compose curl -L https://github.com/docker/compose/releases/download/1.1.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose ###获取repo ###构建图像 图像基于 Ubuntu Trusty
Flink集群安装部署.txt
07-29
Flink集群安装部署,
【大数据实战】Docker中Flink集群搭建
一片冰心
04-02 5330
Docker 中部署 使用 Docker 容器完成 Flink 集群的本地设置（在一台机器上，但在单独的容器中）。 在 Docker 上启动会话集群 一个Flink Session 集群可用于运行多个作业。每个作业都需要在集群部署完成后提交到集群。要使用 Docker 部署Flink Session 集群，您需要启动一个 JobManager 容器。为了启用容器之间的通信，我们首先设置一个必需的 Flink 配置属性并创建一个网络： $ FLINK_PROPERTIES="jobmanager.rpc.ad
flink集群(docker版)配置及使用
03-16 2498
的启用、存储方式、存储位置，在应用代码中配置，其中存储方式、存储位置，也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数，但应用代码中配置优先级更高。(3) Flink Checkpoint是Flink自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序Checkpoint相关参数，当程序启动之后，剩下的就全交给Flink自行管理。Checkpoint是增量做的，每次的时间较短，数据量较小。
docker-compose 部署 Flink集群
凯
03-22 301
【代码】docker-compose 部署 Flink集群。
docker-compose 部署flink集群
debby
04-12 1669
docker-compose常用命令：https://blog.csdn.net/qq_42267173/article/details/124687804。解决参考：https://blog.csdn.net/xiojing825/article/details/79494408。docker-compose up -d 后台运行，这个一遍在生产环境使用。
docker-compose部署flink集群，外部挂载flink配置
半岛落枫的博客
03-13 3520
flink集群部署 拉取flink镜像 docker pull flink 自定义创建目录（例如/usr/local/flink/flink-docker） mdkir /usr/local/flink/flink-docker 在上述目录，创建文件docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8
docker minio集群搭建
10-09
要搭建 Docker MinIO 集群，可以按照以下步骤进行操作： 1. 首先，确保已经安装并配置好 Docker。如果没有安装 Docker，请根据你的操作系统进行安装。 2. 创建一个网络以便 MinIO 节点之间进行通信。运行以下命令创建一个网络： ```shell docker network create minio-net ``` 3. 接下来，使用以下命令在 Docker 中启动 MinIO 节点： ```shell docker run -p 9000:9000 --name=minio1 --network=minio-net -e "MINIO_ROOT_USER=admin" -e "MINIO_ROOT_PASSWORD=password" -v /data/minio1:/data minio/minio server /data ``` 这将在本地主机的端口 9000 上启动 MinIO 服务。你可以根据需要修改端口号和其他环境变量。 4. 如果你想要添加更多的节点到集群中，可以运行以下命令： ```shell docker run -p 9001:9000 --name=minio2 --network=minio-net -e "MINIO_ROOT_USER=admin" -e "MINIO_ROOT_PASSWORD=password" -v /data/minio2:/data minio/minio server http://minio1:9000/data http://minio3:9000/data ``` 将 `http://minio1:9000/data` 和 `http://minio3:9000/data` 替换为已经运行的 MinIO 节点的地址。 5. 继续添加更多的节点，重复第4步直到达到你想要的集群规模。 现在，你已经成功搭建了 Docker MinIO 集群。你可以通过访问 `http://localhost:9000` 来访问 MinIO 控制台并配置集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值