Flink 单机模式部署

最新推荐文章于 2024-08-08 19:44:26 发布
最新推荐文章于 2024-08-08 19:44:26 发布
阅读量2.8k 收藏
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangguosb/article/details/88187160
版权
本文介绍了Flink单机模式的部署，包括环境要求。强调JVM需为1.8及以上，否则可能导致启动报错。此外，详细解析了start-cluster.sh脚本中获取JVM路径的逻辑，即先查找flink-conf.yaml配置文件中的'env.java.home'，若未设置，则采用JAVA_HOME系统变量。
摘要由CSDN通过智能技术生成

环境要求

  • JVM：1.8及以上；
JVM版本检查：java -version 或者echo $JAVA_HOME
Java编译器版本：javac -version

低版本问题

  Flink代码使用JDK8编译生成，而JVM版本低于8.x导致启动报错，如下：

Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/flink/runtime/entrypoint/StandaloneSessionClusterEntrypoint : Unsupported major.minor version 52.0
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessContr
最低0.47元/天 解锁文章
库昊天
关注
专栏目录
【大数据Flink系列】Flink单机模式和集群搭建
weixin_54707168的博客
03-26 920
【大数据Flink系列】Flink单机模式和集群搭建
Flink 1.13部署指南：深入解析单机与集群模式
击水三千里的专栏
09-22 514
在YARN上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。 在Standalone上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。
Flink的单机部署方式
dly的博客
08-30 638
jobmanager.rpc.address: 10.0.0.1 配置主节点的ip。taskmanager.tmp.dirs taskmanager的临时数据存储目录。taskmanager.heap.mb taskmanager节点可用的内存。jobmanager.heap.mb jobmanager节点可用的内存。jobmanager.rpc.address master节点的地址。./bin/flink # 路径 $FLINK_HOME。ON YARN是企业级用的最多的方式 *****.
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
苍煜
07-24 3089
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
Flink从入门到真香（Flink环境部署-单机)
oMaFei的博客
11-05 622
一、准备工作 安装java yum install java-11-openjdk -y[root@localhost opt]# java -versionopenjdk version "11.0.8" 2020-07-14 LTSOpenJDK Runtime Environment 18.9 (build 11.0.8+10-LTS)OpenJDK 64-Bit Server VM 18....
Flink单机模式安装
李思净的博客
07-25 4434
Linux运行环境搭建一个单机版Flink运行环境 下载Flink程序包：flink-1.8.1-bin-scala_2.11.tgz 部署在Linux服务器上，然后以单机模式运行 # cd flink # tar xzf flink-1.8.1-bin-scala_2.11.tgz # cd flink-1.8.1 # ./bin/start-cluster.sh 启动成功后，浏览器访问...
flink StandAlone 单机部署
an13654067079的博客
06-27 393
flink StandAlone 单机部署
flink单机模式部署
11-08
但是，也可以在单机上运行FLINK，这被称为FLINK单机模式部署。下面是FLINK单机模式部署的步骤： 1. 下载FLINK二进制文件并解压缩。 2. 修改FLINK配置文件flink-conf.yaml，以更改REST端口号（默认为8081）。 3. ...
Flink 单机部署
qq_56870570的博客
03-18 3774
Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其单机模式。 单机模式是一种开箱即用的模式，可以在单台服务器上运行，适用于日常的开发和调试。具体操作步骤如下： 安装部署 1. 前置条件 Flink 的运行依赖 JAVA 环境，故需要预先安装好 JDK。 2. 下载 & 解压 &a...
Flink 1.9.1 Standalone 集群部署.pdf
11-19
本文档主要讲解Flink Standalone模式的集群的安装部署方法。此外，还包含了集群启停、任务提交、查看日志、执行自定义流处理程序等扩展主题。文档力求内容详实、步骤清晰，使读者阅后即可百分百掌握，不留疑问，轻松学习Flink的基础知识，快速上手。
Flink单机和集群环境部署教程
最新发布
qq_42568323的博客
08-08 1100
通过以上步骤，我们成功部署了 Flink 单机和集群环境，并实现了一个简单的 Word Count 应用。Flink 提供了强大的流处理和批处理能力，可以在多种场景下处理实时数据。
【Flink】基于Docker下的Flink运行环境搭建（Mac)
我爱穿秋裤
02-07 2045
创建一个本地运行环境是提高开发效率和便捷进行代码调试的关键。我们将一起构建一个本地环境，专门用于执行Flink任务。此环境以Flink 1.17.2版本为基础，采用Docker技术搭建而成。通过这种方式，我们能够模拟出一个接近实际生产环境的运行条件，帮助我们更好地测试和优化我们的Flink应用。
docker快速布局flink
01-07 966
1.注册了腾讯云轻量服务器 自带docker Permission denied (publickey,gssapi-keyex,gssapi-with-mic) 2. 远程访问 两个参数修改 （yes） 轻量应用服务器ssh登录报错Permission denied 您好，ssh连接轻量应用服务器，出现以下报错： Permission denied (publickey,gssapi-keyex,gssapi-with-mic) 解决方法： 1.通过VNC登录服务器 2.修改ssh服务配置文件/etc/
基础学习-Flink-standalone 部署
weixin_41077841的博客
01-09 886
文章目录Flink standalone 说明Flink standalone 部署官网下载flink 安装包安装包解压启动 Flink standalone 说明 官网：https://flink.apache.org/flink-architecture.html Apache Flink 的部署分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用，虽然没有什么难度，但是对于flink的学习确实挺好的入门 Flink standalone.
Flink单机版安装与wordCount
weixin_33774308的博客
12-16 103
Flink为大数据处理工具，类似hadoop,spark.但它能够在大规模分布式系统中快速处理，与spark相似也是基于内存运算，并以低延迟性和高容错性主城，其核心特性是实时的处理流数据。从此大数据生态圈又再填一员。。。具体详解，还要等之后再分享，这里就先简要带过~     Flink的机制: 当Flink启动时，会拉起一个jobmanager和一个或多个taskManager,job...
字节跳动单点恢复功能及 Regional CheckPoint 优化实践
Ververica的博客
03-18 297
摘要：本文介绍字节跳动在过去一段时间里做的两个主要的 Feature，一是在 Network 层的单点恢复的功能，二是 Checkpoint层的 Regional Checkpoint。...
Flink安装部署
weixin_42796403的博客
03-01 6455
Flink安装部署 目录Flink安装部署一、开发模式二、local-cluster模式2.1local-cluster模式配置2.2在local-cluster模式下运行无界的WordCount三、Standalone模式3.1Standalone模式配置3.2 Standalone模式运行无界流WorkCount3.3Standalone高可用(HA)四、Yarn模式4.1Yarn模式配置4.2Yarn运行无界流WordCount4.3Flink on Yarn的3种部署模式4.4 Per-Job-Cl
Flink简介及部署模式
ZYN的博客
07-20 1825
Spark 和 Flink 一开始都都希望能够用同一个技术把流处理和批处理统一起来，但他们走了完全不一样的两条路。前者是以批处理的技术为根本，并尝试在批处理之上支持流计算；后者则认为流计算技术是最基本的，在流计算的基础之上支持批处理。SparkFlink流批世界观一切都是由批次组成。离线数据是一个大批次；而实时数据是由一个一个无限的小批次组成的。一切都是由流组成。离线数据是有界限的流；实时数据是一个没有界限的流。计算模型微批处理模型（秒级），在批处理的基础上做流处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值