Flink部署及集群(高可用)

最新推荐文章于 2024-10-11 17:37:28 发布
最新推荐文章于 2024-10-11 17:37:28 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： flink 实时数据平台部署 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27960935/article/details/108794038
版权
本文详细介绍了Flink的部署过程，包括下载、解压、启动，并开放UI端口8081以访问Web界面。接着，讨论了Flink集群配置，明确了Master和Slave节点，以及配置文件的调整。特别地，重点讲解了如何实现JobManager的高可用性，通过修改配置文件并启动，验证了HA的切换成功。最后，提到了在启动过程中可能遇到的报错问题及其解决方法。
摘要由CSDN通过智能技术生成

文章目录

Flink部署

1、下载

官网下载地址：http://flink.apache.org/downloads.html。

HDP集群hadoop3.1，scala：2.11，选择flink-1.10.0-bin-scala_2.11.tgz

2、解压

tar -zxvf flink-1.10.0-bin-scala_2.11.tgz

image

3、启动Flink

进入bin目录：cd /usr/flink/flink-1.10.0/bin
启动flink：./start-cluster.sh

启动成功如下：jps可以看到StandaloneSessionClusterEntrypoint在运行说明成功！
image

3、开放端口8081

vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8081 -j ACCEPT

image

4、访问ui界面

输入10.34.11.142：8081
image

5、测试

打开3个会话

  1. 第一个，启动监听客户端端口
输入： nc -lk 8888  
## 注意：端口可以自己定

image

  1. 第二个,启动flink的自带demo
##切换到flink安装目录下
cd /usr/flink/flink-1.10.0/
##启动程序，注意：端口号跟第一个端口一致
bin/flink run examples/
最低0.47元/天 解锁文章
Jarvis数据之路
关注
专栏目录
Apache Flink Jar包上传漏洞复现（详细）
偷一个月亮
11-22 1291
搭建环境 wget http://mirror.bit.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz tar -zxf flink-1.9.1-bin-scala_2.11.tgz ./start-cluster.sh 记得切换目录，.sh在bin文件夹 出现了一点小插曲： Please specif...
Flink高可用集群搭建
Ennis_Tongji的博客
08-20 421
9.7 Flink安装 9.7.1 下载 与hadoop2.10.1兼容的flink版本为flink 1.10.0 # cd /opt # wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.4/flink-1.11.4-bin-scala_2.11.tgz # tar -zxf flink-1.11.4-bin-scala_2.11.tgz # mv flink-1.11.4 flink 9.7.2 修改环境变量 # vi
Flink高可用集群部署
10-09
系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0
Apache Flink的本地调试模式
最新发布
weixin_44594317的博客
10-11 1045
Flink 的 Local 模式是用于开发、调试和小规模数据处理的理想环境。通过 IDE 或命令行工具，可以快速运行 Flink 作业，并调试代码逻辑。
Flink部署——高可用
京河小蚁的博客
06-26 4577
JobManager 高可用（HA）模式加强了 Flink 集群防止 JobManager 故障的能力。 此特性确保 Flink 集群将始终持续执行你提交的作业。JobManager 协调每个 Flink 的部署。它同时负责 调度 和 资源管理。默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会导致 单点故障（SPOF）：如果 JobManager 崩溃，则不能提交任何新程序，运行中的程序也会失败。使用 JobManager 高可用模式，你可以从 JobManager 失败中恢复，
六、Flink高可用部署
ynzzxc的博客
03-29 1931
（1）下载安装包并解压到指定目录 （2）修改配置文件，添加必要依赖 （3）分发到其他节点，配置环境变量 以dataxc用户为例，脚本示例如下： #!/bin/bash # flink.sh nodes=(n101 n102 n103) zk_connect='n101:2181,n102:2181,n103:2181' #解压flink到程序目录 cd /home/dataxc/sw && tar -zxvf flink-1.13.5-bin-scala_2.12.tgz -C
【Flink系列】部署篇（二）：独立部署高可用Flink集群实战
m0_37935211的博客
01-12 2105
独立模式部署高可用的Flink集群操作步骤，高可用服务采用zookeeper
【Flink系列】部署篇（三）：Native k8s部署高可用Flink集群实战
m0_37935211的博客
01-12 2742
上一篇博文介绍了如何独立部署一个高可用的Flink集群,本篇介绍如何用Native k8s去部署高可用的Flink 集群。本篇介绍的集群构建在AWS上，和构建在自己的服务器相比，主要区别在文件系统的选择和使用上。我选用的S3服务。
高可用Flink on YARN集群快速配置_flink on yarn集群 的flink-conf(1)
2301_79988566的博客
05-01 387
选择filesystem或者rocksdb的话，可靠性比较高。对于轻量级的、逻辑不复杂的任务，可以选择jobmanager。注意YARN ApplicationMaster的最大尝试次数（yarn.resourcemanager.am.max-attempts）默认值仅为2，使得作业容错率很低，因此预先把它修改为4，或者更大些。以上四项只是给出默认配置，实际执行作业时都可以用对应的命令行参数（-jm、-tm、-s、-p）修改。这个类似于spark-submit中的extraJavaOptions。
flink高可用集群搭建（Standalone模式）
热门推荐
hello.reader
03-23 1万+
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink 设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
Flink实战 - 搭建HA高可用集群
实践出真知
07-02 1289
一、部署说明
【梳理】k8s使用Operator搭建Flink集群（高可用可选）
haerxiong的专栏
03-08 3440
本文内容来源于Flink官网，进行翻译、简化、整理，供大家参考~
flink集群搭建（standalone 高可用模式）
shang17860504386的博客
02-01 2018
flink集群搭建
Flink高可用HA集群部署
Astralisxoxo的博客
09-16 333
部署前提：已安装jdk，hadoop，zookeeper 先确定flink的版本和hadoop的版本是否可以兼容 节点分配 bigdata111 bigdata112 bigdata113 JobManager √ √ TaskManager √ √ √ ZooKeeper √ √ √ 修改配置文件 1）masters bigdata111:8081 bigdata112:8081 2）slaves bigdata111 bigdata112 bigdata113 3）f
B02 - 066、搭建Flink高可用集群
吾心持剑，剑锋披靡
06-28 236
初学耗时：0.5h 注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。 一、   1.1    1.2  记忆词：     B02 - 999、部署大数据环境及部分编译  ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、   1.1 ~    1.2 ~      1.2.1 .       1.2.2 .  ...
flink standalone高可用集群搭建
xuye0606的博客
06-21 323
Flink standalone模式高可用集群，有一个 JobManager 作为备用，当主 JobManager 宕机之后，备用 JobManager 顶上，等宕机的 JobManager 恢复之后，又变成备用。配置 master 与 worker内部通信端口。配置masterIP(可以指定当前服务器IP)第二步：Flink源码包解压。#如果只修改单个文件。特备注意：在配置文件。
CentOS 7.2上Flink 1.4.0高可用集群部署指南
本文提供了在CentOS 7.2环境中部署Flink 1.4.0高可用集群的详细步骤，包括基础环境设置、用户权限管理、依赖软件的安装及配置，以及后续的集群管理和监控。这是一份实用的指南，对于想要在企业级环境中部署Flink应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jarvis数据之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值