Flink学习二：搭建独立运行的flink(1.9.3)集群

最新推荐文章于 2024-05-31 08:30:00 发布
最新推荐文章于 2024-05-31 08:30:00 发布
阅读量394 收藏
点赞数 1
分类专栏： Flink学习 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q18729096963/article/details/107522090
版权

  1. 下载flink-1.9.3-bin-scala_2.11.tgz

     tar -xzvf flink-1.9.3-bin-scala_2.11.tgz

  2. 配置相关参数
    在这里插入图片描述
    2.1 flink-conf.yaml
    在这里插入图片描述
    2.2 masters
    2.3 slaves

  3. 分发到其他节点

     scp -r /home/xtdsj/bigdata/flink root@cdh-worker1:/home/xtdsj/bigdata

  4. 启动flink集群

     ./bin/start-cluster.sh

在这里插入图片描述
5. 验证集群启动是否成功
在这里插入图片描述

码上中年
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink-1.9.3集群(standalone)环境部署
xuen_zhang的博客
06-15 561
Flink集群(standalone)环境部署 2020/6/11 by xuewen.zhang@myt11.com 版本信息 JDK 1.8.0_191-b12-1 Flink 1.9.3 Hadoop 3.1.1 环境准备 wget 检查wget是否已安装，安装命令yum -y install wget 环境变量 检查java环境变量(echo $JAVA_HOME) 集群免密 客户端生成密钥，完成后复制密钥： >ssh-keygen -t rsa -P "" >c
Flink【环境搭建 01】（flink-1.9.3 集群版安装、配置、验证）
シ風
08-11 685
我使用的安装文件是 flink-1.9.3-bin-scala_2.12.tgz ，以下内容均以此版本进行说明。 说明 搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Flink Standalone 集群，其中三台主机均为 worker 节点 和 Flink1 为 master 节点。 1.配置免密登录【每台服务器】 Flink 组件之间需要基于 SSH 进行通讯。 1.1 配置映射 配置 ip 地址和主机名映射：很关键通过ifconfig查询本机的ip地址，这
Flink系列三：Flink架构、独立集群搭建及Flink on YARN模式详解
最新发布
weixin_52134189的博客
05-31 2571
Flink架构,Flink独立集群搭建与使用,Flink on yarn的三种部署模式(Application,Per-Job Cluster,Session )
【Flink】Standalone运行模式
lxtx
11-23 1113
独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足或者出现故障没有自动扩展或重分配资源的保证，必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。提前启动集群，并通过Web页面客户端提交任务（可以多个任务，但是集群资源固定）。
Flink 1.9.3 搭建
忄凝^的博客
09-03 481
2、Flink 搭建 这里目录2、Flink 搭建2.1、Standalone 模式2.1.1. 下载上传解压拷贝2.1.2. 修改配置文件2.1.3. 拷贝到其他节点2.1.4. 修改环境变量2.1.5. 启动集群2.1.6 关机拍照2.1.7 部署任务（Web UI）2.1.8. 部署任务(命令行模式)2.2、Flink on Yarn 模式2.2.1. 配置2.2.2. Yarn-Session模式2.2.3. Single-job模式 虚拟机的CPU核数尽量调成2个 2.1、Standalone
flink-1.9.2-bin-hadoop2.7-scala_2.12最新flink集群分布式版本
04-20
支持hadoop2.7.2 scala 2.12，编译完成的二进制包flink安装包，亲测可用，注意压缩包是250M，这才是正确的。其他100多M都不对。由于超过220M，所以提供百度云盘链接的形式。
flink集群搭建包.zip
06-14
Flink集群搭建是一个复杂但重要的过程，涉及到大数据处理和分布式计算。Flink是一个开源的流处理框架，由Apache基金会维护，它支持实时处理和批处理，具有低延迟、高吞吐量以及容错性强的特点。Java是Flink的主要...
flink-learn：学习Flink
01-28
Flink学习 Flink Scala版本 卡夫卡版 1.10.0 2.11+ 0.10+ Maven 模板 : https://www.mvnjar.com/org.apache.flink/flink-quickstart-scala/jar.html <br> 注意 ： 当在idea上调试时，先将 es-shade install。...
flink-web：Apache Flink网站
02-05
该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # ...
FlinkSQL实战：HBase的结合应用
02-23
而当下FlinkSQL的火热程度不用多说，FlinkSQL也为HBase提供了connector，因此HBase与FlinkSQL的结合非常有必要实践实践。当然，本文假设用户有一定的HBase知识基础，不会详细去介绍HBase的架构和原理，本文着重介绍...
剑指大数据——Flink学习精要_java版
04-21
* 高性能：Flink 能够实时处理大规模数据，具有高性能和低延迟的特点。 * 灵活性：Flink 提供了多种数据处理方式，能够满足不同的业务需求。 * 可扩展性：Flink 能够轻松集成到现有的数据处理系统中，具有良好的可...
Flink 1.9.1 Standalone 集群部署.pdf
11-19
本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外，还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰，使读者阅后即可百分百掌握，不留疑问，轻松学习Flink的基础知识，快速上手。
Apache Flink（flink-1.14.4-bin-scala_2.11.tgz）
05-07
Apache Flink（flink-1.14.4-bin-scala_2.11.tgz）是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。
flink-1.9.0-bin-scala_2.11.tgz
08-07
flink1.9版本源码包，官网下载，开箱即用！
Flink-独立集群/Yarn
qq_45409791的博客
07-30 449
flink独立集群、yarn
【大数据Flink系列】Flink单机模式和集群搭建
weixin_54707168的博客
03-26 882
【大数据Flink系列】Flink单机模式和集群搭建
Flink Standalone Cluster
weixin_43824520的博客
11-21 658
单机模式部署 下载 wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz 解压 tar -zxvf flink-1.9.1-bin-scala_2.12.tgz -C /usr/app 不需要进行任何配置，直接使用以下命令就可以启动单机版本的 Flink...
Flink1.9.1部署整合standalone集群【离线计算DataSet/实时计算DataStream】
09-19 427
一、环境准备 1.下载地址：https://flink.apache.org 下面那个hadoop的整合包要放到flink的lib中去。 2.上传到linux中去，并解压到相关目录 tar -zxvf flink-1.9.1-… apps/ 二、standalone部署 2.1 修改conf中的flink-conf.yaml # 1.主节点的主机名 jobmanager.rpc.address: hadoop01 # 2.节点的资源槽数 taskmanager.numberOfTaskSlots
Flink单机部署
m0_58799114的博客
02-27 353
flink单机部署
Flink学习指南：Window与Time概念解析与实战应用
在大数据领域，Flink作为一款强大的实时流处理框架，Window与Time的概念是其核心组成部分，对于理解和优化数据处理流程至关重要。本课程旨在帮助学习者深入理解这些概念，并解决实际应用中可能遇到的问题。 1. **...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值