flink1.8.2 on yarn 运行在jdk1.7环境上

最新推荐文章于 2023-08-05 11:45:47 发布
最新推荐文章于 2023-08-05 11:45:47 发布
阅读量685 收藏 1
点赞数
分类专栏： Flink-实战 文章标签： flink java jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang_rx/article/details/106788324
版权
Flink-实战 专栏收录该内容
13 篇文章 5 订阅 ¥39.90 ¥99.00
订阅专栏
本文档介绍了如何在YARN集群上运行Flink 1.8.2，尽管Flink本身要求JDK 1.8，但当前环境仅提供JDK 1.7。通过特定配置，实现了兼容性。
摘要由CSDN通过智能技术生成

要知道flink是建立在jdk1.8上面的，奈何集群环境的是1.7


 

flink-conf.yaml

 追加三行
 

env.java.home: /opt/jdk1.8.0_31
containerized.master.env.JAVA_HOME: /opt/jdk1.8.0_31
containerized.taskmanager.env.JAVA_HOME: /opt/jdk1.8.0_31

 

南修子
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
flink1.16.1提交任务到yarn集群遇到jdk版本较低的解决方案
Sky_WANGJ的博客
02-06 1170
flink
Flink1.13.2运行在大数据星环TDH集群的jdk1.7上解决办法
forgax的博客
03-08 2873
Flink1.13.2运行在的大数据TDH集群的JDK1.7上
Flink开发环境准备: centos-jdk8
weixin_44462773的博客
08-05 1534
flink开发准备：jdk安装、idea安装配置、maven安装配置、flink安装配置与启动
flink 学习（一）java 整合 flink
码易的博客
04-05 5267
目录前言一、流、批处理二、hello world1.环境2.流处理3.批处理4.自动处理三、文件数据源1.从文件中读取2.从目录中读取 前言         Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 一、流、批处理       &nbs
Flink大数据分析实战和JDK的安装
Starlightbright_的博客
09-03 998
主要了解jdk的安装和环境的配置
Flink运行在yarn上
05-19 748
在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的 Workload。因此 Flink 也支持在 Yarn 上面运行； flink on yarn的前提是：hdfs、yarn均启动 修改hadoop的配置参数 vim etc/hadoop/yarn-site.xml <property> &l...
flink on yarn部署
qq_27710549的博客
06-14 2201
flink on yarn部署flink on yarn需要的组件与版本如下Zookeeper 3.4.9 用于做Flink的JobManager的HA服务hadoop 2.7.2 搭建HDFS和Yarnflink 1.3.2 或者 1.4.1版本（scala 2.11）Zookeeper, HDFS 和 Yarn 的组件的安装可以参照网上的教程。在zookeeper，HDFS 和Yarn的组件的...
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: ...
FLINK_ON_YARN-1.14.3.jar
04-05
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
flink-on-yarn-1.13.2.jar
最新发布
09-28
本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的flink_on_yarn-1.13.2.jar资源包，已验证可以使用，是本人制作parcel的时候的成品
Flink 本地模式安装配置 （包含java环境配置）
qq_38048590的博客
07-23 6115
一、JDK安装 配置：      1.先从Oracle官网下载JDK。根据自己的系统下载相应版本。我下载的是***.tar.gz  具体忘了    2.创建一个目录/usr/lib/jvm以便于把下载解压后的包放到这个目录下     命令：sudo mkdir /usr/lib/jvm   3.转到压缩包下载的文件夹下，解压并把解压后的jdk1.8.0_25文件夹放到/usr/lib/j...
flink on yarn集群环境(生产环境使用)
cqscf的博客
04-18 3809
flink on yarn集群环境(生产环境使用)
flink on yarn、资源及状态管理
mapeng765441650的博客
07-05 5275
flink源码学习： http://www.cnblogs.com/bethunebtj/p/9168274.html flink on yarn 执行任务的两种方式 1.yarn-session.sh(开辟资源)+flink run(提交任务) 1.在yarn中起一个守护进程，用于启动多个job,即一个application master 管理多个job 2.启动命令： ./yarn...
Flink on yarn的配置及执行
weixin_30292843的博客
03-20 785
1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink可以自己搭建集群模式已提供为庞大数据的计算。但在实际应用中。都是计算hdfs上的数据文件，所以更多的建立在基于hadoop集群，而hadoop集群的资源调度组件为yarn，所以Flink on yarn本身就是提供了集群模式，将flink计算的资源调度和管理交给yarn，这里详细...
如何在Spark，MapReduce和Flink程序里面指定JAVA_HOME
CSDN_Hzx的博客
06-04 1625
最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 现特此整理了一下分享给大家： 其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j
flink 1.10.1的三种部署模式
huangrunxing的专栏
06-20 1156
首先准备好家伙 下载flink 1.10.1 https://mirror.bit.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz 下载jdk https://download.oracle.com/otn/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz local模式 tar -zxvf flink-1.10
flink on yarn 运行时架构
04-04
5. Flink应用程序：Flink应用程序是在Flink on YARN上运行的应用程序。它由一个或多个任务组成，每个任务都可以在TaskManager上执行。Flink应用程序可以是流式处理或批处理应用程序，可以使用Flink的API或SQL进行...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值