Flink消费kafka写入hive，报错GC

已于 2023-02-14 16:35:29 修改
阅读量343 收藏 1
点赞数 1
文章标签： hive 大数据 hadoop flink
于 2023-02-14 16:17:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgbcf/article/details/129028793
版权

报错信息

Flink消费kafka写入hive，报错GC。Taskmanager内存加到16GB。不起作用。

java.lang.OutOfMemoryError: GC overhead limit exceeded
	at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) ~[?:1.8.0_181]
	at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) ~[?:1.8.0_181]
	at org.apache.hive.orc.impl.OutStream.getNewInputBuffer(OutStream.java:109) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.OutStream.write(OutStream.java:142) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at com.google.protobuf.CodedOutputStream.refreshBuffer(CodedOutputStream.java:833) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at com.google.protobuf.CodedOutputStream.flush(CodedOutputStream.java:843) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at com.google.protobuf.AbstractMessageLite.writeTo(AbstractMessageLite.java:80) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.PhysicalFsWriter.writeIndexStream(PhysicalFsWriter.java:512) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StreamFactory.writeIndex(WriterImpl.java:221) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$TreeWriter.writeStripe(WriterImpl.java:531) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StringBaseTreeWriter.writeStripe(WriterImpl.java:1007) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StructTreeWriter.writeStripe(WriterImpl.java:1786) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.flushStripe(WriterImpl.java:2171) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.close(WriterImpl.java:2335) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.WriterImpl.close(WriterImpl.java:330) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.close(OrcOutputFormat.java:120) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.finish(HiveBulkWriterFactory.java:79) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.formats.hadoop.bulk.HadoopPathBasedPartFileWriter.closeForCommit(HadoopPathBasedPartFileWriter.java:71) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.closePartFile(Bucket.java:262) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.prepareBucketForCheckpointing(Bucket.java:304) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.onReceptionOfCheckpoint(Bucket.java:276) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Buckets.snapshotActiveBuckets(Buckets.java:270) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Buckets.snapshotState(Buckets.java:261) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSinkHelper.snapshotState(StreamingFileSinkHelper.java:87) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.table.filesystem.stream.AbstractStreamingWriter.snapshotState(AbstractStreamingWriter.java:129) ~[flink-table_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.table.filesystem.stream.StreamingFileWriter.snapshotState(StreamingFileWriter.java:101) ~[flink-table_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.snapshotState(StreamOperatorStateHandler.java:219) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.snapshotState(StreamOperatorStateHandler.java:170) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.AbstractStreamOperator.snapshotState(AbstractStreamOperator.java:348) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.checkpointStreamOperator(RegularOperatorChain.java:233) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.buildOperatorSnapshotFutures(RegularOperatorChain.java:206) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.snapshotState(RegularOperatorChain.java:186) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
java.lang.OutOfMemoryError: Java heap space
	at org.apache.hive.orc.impl.RunLengthIntegerWriterV2.<init>(RunLengthIntegerWriterV2.java:140) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$TreeWriter.createIntegerWriter(WriterImpl.java:398) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$IntegerTreeWriter.<init>(WriterImpl.java:745) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.createTreeWriter(WriterImpl.java:2087) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.access$1200(WriterImpl.java:88) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StructTreeWriter.<init>(WriterImpl.java:1720) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.createTreeWriter(WriterImpl.java:2117) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.<init>(WriterImpl.java:161) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.<init>(WriterImpl.java:126) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.WriterImpl.<init>(WriterImpl.java:94) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.OrcFile.createWriter(OrcFile.java:314) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:101) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.addElement(HiveBulkWriterFactory.java:71) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.addElement(HiveBulkWriterFactory.java:51) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.formats.hadoop.bulk.HadoopPathBasedPartFileWriter.write(HadoopPathBasedPartFileWriter.java:59) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.write(Bucket.java:222) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Buckets.onElement(Buckets.java:305) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSinkHelper.onElement(StreamingFileSinkHelper.java:103) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.table.filesystem.stream.AbstractStreamingWriter.processElement(AbstractStreamingWriter.java:140) ~[flink-table_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.pushToOperator(CopyingChainingOutput.java:82) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:57) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:29) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:56) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:29) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at StreamExecCalc$85.processElement_split6(Unknown Source) ~[?:?]
	at StreamExecCalc$85.processElement(Unknown Source) ~[?:?]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.pushToOperator(CopyingChainingOutput.java:82) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:57) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:29) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.SourceOperatorStreamTask$AsyncDataOutputToOutput.emitRecord(SourceOperatorStreamTask.java:196) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.source.SourceOutputWithWatermarks.collect(SourceOutputWithWatermarks.java:110) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connector.kafka.source.reader.KafkaRecordEmitter.emitRecord(KafkaRecordEmitter.java:36) ~[flink-sql-connector-kafka_2.11-1.14.2.jar:1.14.2]

解决方法

TaskManager内存加到16GB，仍然GC。根据任务情况，肯定不是内存设置的不足问题。
参考文章：

https://community.cloudera.com/t5/Support-Questions/I-am-getting-outofmemory-while-inserting-the-data-into-table/m-p/119682

原因是：写入的hive表分区数过多（分钟级），hive的格式是ORC。
ORC 编写器为每个输出文件保持一个缓冲区打开。因此，如果您严重加载到分区表，它们将保持大量内存打开。所以即使加到16GB也无济于事。
解决办法：将hive表的格式由ORC格式改成text格式，任务运行正常。

dgbcf
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink 1.14.0 内存优化你不懂？跟着土哥走就对了（万字长文+参数调优）
逆流而上Mr李
10-09 3445
关注微信公众号：3分钟秒懂大数据 跟着土哥走，教你秒懂大数据 前言 大家好，我是土哥。 自从写 Flink 系列文章，收到了太多读者的私信，希望我不断更新完善 Flink 专栏，为此，土哥还专门创建了一个文档，用来记录粉丝和读者在使用 Flink 组件时遇到的典型问题。 由于 Flink 在大数据流计算中占据非常重要的位置，毫不夸张的说，已经被所有一二线互联网大厂所使用，并且 Flink 组件在 Apache 社区持续占据热...
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 8882
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
kafka consumer gc问题探讨
Keep Thinking And Learning
03-14 1843
kafka是一种高性能的分布式消息系统，通常用于大规模的数据处理， 其吞吐量是非常高的，我们的蛮多业务线都用到了kafka，包括实时模型，用户标签，实时点击率等，在开发的过程中间，踩了一些坑，其中consumer gc问题便碰到过几次，在这里探讨下可能的解决方式。
hive 提交sql卡主_Flink1.10集成Hive快速入门
weixin_36308751的博客
11-30 286
Hive 是大数据领域最早出现的 SQL 引擎，发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎，如 Spark SQL、Impala 等，都在一定程度上提供了与 Hive 集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在最新版Flink1.10版本，标志着对 Blink的整合...
Flink-Sql1.12 to Hive使用遇到的问题-程序因集群高负载导致宕机且自动恢复失败原因排查记录
hehe1212tt的博客
09-15 356
task manager的六个container仅部署在三台机器[dn05,dn06,dn08]，集群有9个DN，可见此时集群的负载很高。现象：该过程中dn05 normal；#dn06异常的大致时段： 20:39(不确定) ~ 20:48 何时恢复的正常未考究，该过程出现了频繁的上下线；#在这之后,dn05又被下线(很快又上线,该过程很频繁,大概是因为集群资源当时太紧张,没有其他机器可供分配)。dn05异常的大致时段： 20:00 ~ 20:48 何时恢复的正常未考究,该过程出现了频繁的上下线；
java 异常 连接错误代码_java连接数据库错误代码
weixin_42361153的博客
02-13 410
错误com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenea...错误com.mysql.jdbc.exceptions.j...
记录Flink 线上碰到java.lang.OutOfMemoryError: GC overhead limit exceeded如何处理？
最新发布
yzw_ai_sx的博客
01-02 1568
找到这个IP的端口，使用 netstat 找到PID ---> netstat -atunpl | grep 23567。发现使用HashMap占用太多，寻找自己使用HashMap的方法进行排查，发现没有释放HashMap内数据导致内存一直增加。task heap 是我们用户写代码所使用的的堆内存，那我们就要考虑是不是自己业务代码有问题吗？1 查看某个TM的堆内存占用是否过高，如果过高，通过页面的端口号找到该TM的PID。2 利用命令：jmap -histo:live pid 对该PID进行操作。
Flink-Sql1.12 to Hive使用遇到的问题-程序宕机后重启遇大数据量积压导致taskmanager内存不足无法从指定offset启动
hehe1212tt的博客
09-15 101
2. 若数据量过大，程序报错：Caused by: java.lang.OutOfMemoryError: Java heap space，内存不足，导致无法checkpoints，分区数据文件无法提交，程序最终失败！1. 数据量太大，flink处理不过来时。会导致丢失任务失败的间隔段。（丢失的数据可以从kafka手动恢复,过程较为麻烦）1. flink在指定kafka offset启动(重启)后，会尝试将从指定offset的数据到最新的数据全部加载至内存并行输出;2. 将指定的offset调大。
FlinkSQL对接MySQL CDC写入数据到Hive
abcdlmk的博客
09-16 1408
对使用flink将mysql数据变化数据实时写入Hive的过程进行记录。包括mysql开启binlog，使用flinkcdc实时同步到kafka，并再使用flink将数据kafka中的数据流式写入Hive
flink消费kafka到greenplum
05-06
flink消费kafka到greenplum， 以及flink datastream,dataset 使用等，实时数据库读取，存储到greenplum，应用窗口等实战例子
flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo
06-26
代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql源码+kafka安装包+zookeeper安装包
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
flink常见故障排除
第一片心意的博客
10-16 6462
flink常见故障排除
Flink Sql on Hive 的生产遇到的坑以及优化（持续更新 ...）
weixin_44500374的博客
01-14 4319
1、HiveSource-xxxx.xxxx’s parallelism (200) is higher than the max parallelism (128). Please lower the parallelism or increase the max parallelism. （1）报错 这是sql-cli 连接hive,查一张表报的错 [ERROR] Could not execute SQL statement. Reason: org.apache.flink.runtime.JobE
flink1.11 消费kafka 流式写入hive
weixin_42094092的博客
08-12 2138
目前网上对于flinksql1.11消费kafka流式写入hive资料比较少,且大多是直接在flink中新建kafka表写入hive,但对多层嵌套的json解析不知支持力度几何 ,我这是使用streaming api 消费kafka先将json解析拉平,再转成临时表,最后流式写入hive,且看代码: package com.xxx.xxx import java.sql.Timestamp import java.util.Properties import java.time.Duration impo
flink实战--读写Hive（ hive on flink ）
热门推荐
阿华田的博客
08-28 1万+
Flink onHive 介绍 Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表,Hive 是大数据领域最早出现的 SQL 引擎，发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎，如 Spark SQL、Impal...
Flink1.11.2 使用SQL方式消费kafka写入Hive测试用例实践
欲望以提升热忱 毅力以磨平高山
11-26 2485
前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.
使用java编写flink消费kafka写入hive的demo
04-05
以下是使用Java编写Flink消费Kafka写入Hive的示例代码： 1. 导入依赖 ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.serialization.SimpleStringSchema...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值