Flink：flink问题总结

已于 2022-06-14 09:33:28 修改
阅读量2.7k 收藏
点赞数
分类专栏： flink 文章标签： flink
于 2022-04-27 09:20:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Joseph25/article/details/124442835
版权

问题一：

Caused by: org.apache.flink.configuration.IllegalConfigurationException: Sum of configured Framework Heap Memory (128.000mb (134217728 bytes)), Framework Off-Heap Memory (128.000mb (134217728 bytes)), Task Off-Heap Memory (0 bytes), Managed Memory (52.800mb (55364813 bytes)) and Network Memory (64.000mb (67108864 bytes)) exceed configured Total Flink Memory (132.000mb (138412032 bytes)).

解决：这是给的内存少了，flink run -m yarn-cluster -yjm 800 -ytm 800，加大内存就行

问题二：

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Connection

解决：hbase-common包，hbase-client，hbase-server加到/opt/flink/lib/下

Joseph25
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Flink] Flink运行报错The number of requested virtual cores for application master
九师兄
01-26 1637
1.背景 运行一个flink任务，启动的时候报错 org.apache.flink.client.deployment .ClusterDeploymentException: Could not deploy Yarn job cluster. at org.apache.flink.yarn.YarnClusterDescr iptor .deployJobCluster (YarnClusterDescriptor.java:82) at org.apache.flink.client.cli .
Flink实战问题（五）：TaskManager memory configuration failed: Derived JVM Overhead size
在前进的路上
03-30 6535
flink 运行任务突然报错，org.apache.flink.configuration.IllegalConfigurationException: TaskManager memory configuration failed: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1
Sum of configured Framework Heap Memory exceed configured Total Flink Memory
weixin_45627111的博客
10-27 329
分析得出导出出现问题的原因是只将jobmanager.memory.process.size 、taskmanager.memory.process.size这两个参数改小（当前是1G、2G的资源量级），但是其他参数还是使用的默认值（2G、4G的资源量级），并没有同比例减小，导致那些参数和这2个参数不匹配，那些参数中设置的值最终加和超过了我所设置的值。方法一：修改，flink-conf.yaml，将以jobmanager和taskmanager开头除了上面设置的那两个，其他的全部注释掉。
flink 作业常见报错1
weixin_43979134的博客
08-30 1898
flink 开发作业常见错误
flink启动报错
JavaPub
11-10 2777
报错信息 The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: JobManager memory configuration failed: The configured Total Flink Memory (64.000mb (67108864 bytes)) is
flink1.10 在yarn上运行job报内存超出
ASN_forever的博客
05-27 5214
./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -s hdfs://master:9000/flink/checkpoints/d15750eebe118cccb93b4450a008e4d3/chk-158/_metadata -c stream.TestKafkaCheckpoint /var/flink/data/jars/flink-1.0-SNAPSHOT.jar org.apache.flink.client.program.Prog.
Flink问题总结
Bingo_Zzz的博客
08-01 1475
1.什么是flink？ Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink 能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供 了丰富的时间类型和窗口计算、Exactly-once （就一次）语义支持，另外还可以进行状态管理，并提供 了 CEP（复杂事件处理）的支持。 2.Flink 的重要特点？ 事件驱动 List item 基于流的世界观 在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流; 实时数据是一个没有
Flink 问题总结
weixin_42119153的博客
12-20 8304
1.local运行报错 1. Memory manager has been shut down.（org.apache.flink.util.FlinkException: The TaskExecutor is shutting down.） 现象：在执行过程中，一开始流处理都可以执行，但是几秒后就停住了，经过debug和日志分析，Mini Cluster被停了。 但是相同的代码、依赖同学又可...
flink：Apache Flink
02-04
Apache Flink Apache Flink是具有强大的流和批处理功能的开源流处理框架。 通过了解有关Flink的更多信息 产品特点 流优先的运行时，支持批处理和数据流程序 Java和Scala中优雅流畅的API 同时支持很高的吞吐量和较...
Flink:Flink
03-19
标题中的"Flink:Flink"可能是指Apache Flink，这是一个开源的流处理和批处理框架，专为处理无界和有界数据流而设计。在Java编程语言的支持下，Flink提供了一种高度并行的数据处理能力，使得实时数据处理成为可能。 ...
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
pulsar-flink：使用Apache Pulsar和Apache Flink进行弹性数据处理
01-30
脉冲星Flink连接器 Pulsar Flink连接器使用和实现弹性数据处理。 有关中文文档的详细信息，请参见。 先决条件 Java 8或更高版本 Flink 1.9.0或更高版本 Pulsar 2.4.0或更高版本 基本信息 本节介绍有关Pulsar Flink...
postgres-cdc-flink:使用Debezium流式传输PostgreSQL CDC，并使用Flink使用状态流进行充实
04-10
使用Flink丰富Kafka流与另一个流环境设定安装PostgreSQL 11+ 设置PostgreSQL以允许使用pgoutput将Debezium转换为CDC。 参考在您的机器/集群上设置Apache Kafka（使用Kafka Connect） 从安装Debezium PostgreSQL连接...
【排错】记一次（flink on yarn） 提交任务的排错之旅（yarn队列、namenode、resourcemanager、flink job全崩盘）
hiliang521的博客
08-26 994
为了支持国产化环境，需要升级hadoop到3.3.1版本，升级好后提交flink（1.12.5）任务还发现问题不少，一个个排查吧。
Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）
zhenwudi的专栏
05-16 1997
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器上操作(分发环境)2.1 在集群（各机器上都执行！2.1 切换到k8s-master执行。2.2 切换到k8s-node1执行。切换到k8s-master执行。切换到k8s-master执行。
一次内存溢出问题分析
miaoyibo12的博客
07-04 601
文章目录问题描述问题分析1、查看jvm使用情况2、生成dump文件3、利用HeapAnalyzer软件进行分析4、使用eclipse插件分析5、在linux执行分析命令6、分析结果7、问题解决 问题描述 打开页面，页面卡死，后台报out of memory错误。 问题分析 1、查看jvm使用情况 命令：jmap -heam [pid] 发现堆内存的使用率已经达到了100%，总大小8g左右，并且一直不见下降。 2、生成dump文件 命令：jmap -dump:file=[] [pid] 最后生成的文件有7g大
【Flink】TaskManager memory configuration failed: Sum of configured Framework Heap Memory (128.000mb
一杯咖啡半杯糖的博客
03-30 1275
当我们设置taskmanager内存的时候，如果设置过小会出现如下问题（红色部分已标出） 提交参数如下（使用Generic CLI 模式提交） flink run -t yarn-per-job -D yarn.application.queue=test -Dtaskmanager.memory.process.size=500mb -c com.test.Test /data/shan/flink-example-1.0-SNAPSHOT.jar 显示的日志如下 Setting HBASE
【Flink问题】The number of requested virtual cores per node 8 exceeds the maximum number of virtual core
陈小哥cw
06-14 2426
运行以下命令时出现问题 具体错误 解决方案 有以下错误可以看出 yarn配置中的设置了虚拟的cores=6，taskManager的slot我设置了8个，资源不够解决方法：方法一：调大vcores参数方法二：减少slot个数taskmanager.numberOfTaskSlots: 5 在flink安装目录下文件修改以下内容...
在 Windows 搭建 flink 运行环境并模拟流数据处理
最新发布
明而决之
07-24 919
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。尽管如此，也挡不住一个学习者的“热情”。本文介绍怎么在 Windows 本地搭建 Flink 环境，注意这是一个伪分布式的测试环境。
Apache Flink：实时流处理与超越
"Apache Flink是开源的流处理框架，它基于流式处理模型，特别适合对无界数据集进行实时处理。Apache Flink提供了一个融合的平台，支持快速且轻松地构建突破性的实时应用程序，使得数据能够即时用于流处理。在全球...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值