Flink消费kafka写入hive，报错GC

已于 2023-02-14 16:35:29 修改
阅读量367 收藏 1
点赞数 1
文章标签： hive 大数据 hadoop flink
于 2023-02-14 16:17:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgbcf/article/details/129028793
版权

报错信息

Flink消费kafka写入hive，报错GC。Taskmanager内存加到16GB。不起作用。

java.lang.OutOfMemoryError: GC overhead limit exceeded
	at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) ~[?:1.8.0_181]
	at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) ~[?:1.8.0_181]
	at org.apache.hive.orc.impl.OutStream.getNewInputBuffer(OutStream.java:109) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.OutStream.write(OutStream.java:142) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at com.google.protobuf.CodedOutputStream.refreshBuffer(CodedOutputStream.java:833) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at com.google.protobuf.CodedOutputStream.flush(CodedOutputStream.java:843) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at com.google.protobuf.AbstractMessageLite.writeTo(AbstractMessageLite.java:80) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.PhysicalFsWriter.writeIndexStream(PhysicalFsWriter.java:512) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StreamFactory.writeIndex(WriterImpl.java:221) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$TreeWriter.writeStripe(WriterImpl.java:531) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StringBaseTreeWriter.writeStripe(WriterImpl.java:1007) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StructTreeWriter.writeStripe(WriterImpl.java:1786) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.flushStripe(WriterImpl.java:2171) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.close(WriterImpl.java:2335) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.WriterImpl.close(WriterImpl.java:330) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.close(OrcOutputFormat.java:120) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.finish(HiveBulkWriterFactory.java:79) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.formats.hadoop.bulk.HadoopPathBasedPartFileWriter.closeForCommit(HadoopPathBasedPartFileWriter.java:71) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.closePartFile(Bucket.java:262) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.prepareBucketForCheckpointing(Bucket.java:304) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.onReceptionOfCheckpoint(Bucket.java:276) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Buckets.snapshotActiveBuckets(Buckets.java:270) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Buckets.snapshotState(Buckets.java:261) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSinkHelper.snapshotState(StreamingFileSinkHelper.java:87) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.table.filesystem.stream.AbstractStreamingWriter.snapshotState(AbstractStreamingWriter.java:129) ~[flink-table_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.table.filesystem.stream.StreamingFileWriter.snapshotState(StreamingFileWriter.java:101) ~[flink-table_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.snapshotState(StreamOperatorStateHandler.java:219) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.snapshotState(StreamOperatorStateHandler.java:170) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.AbstractStreamOperator.snapshotState(AbstractStreamOperator.java:348) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.checkpointStreamOperator(RegularOperatorChain.java:233) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.buildOperatorSnapshotFutures(RegularOperatorChain.java:206) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.snapshotState(RegularOperatorChain.java:186) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
java.lang.OutOfMemoryError: Java heap space
	at org.apache.hive.orc.impl.RunLengthIntegerWriterV2.<init>(RunLengthIntegerWriterV2.java:140) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$TreeWriter.createIntegerWriter(WriterImpl.java:398) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$IntegerTreeWriter.<init>(WriterImpl.java:745) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.createTreeWriter(WriterImpl.java:2087) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.access$1200(WriterImpl.java:88) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl$StructTreeWriter.<init>(WriterImpl.java:1720) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.createTreeWriter(WriterImpl.java:2117) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.<init>(WriterImpl.java:161) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hive.orc.impl.WriterImpl.<init>(WriterImpl.java:126) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.WriterImpl.<init>(WriterImpl.java:94) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.OrcFile.createWriter(OrcFile.java:314) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:101) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.addElement(HiveBulkWriterFactory.java:71) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.addElement(HiveBulkWriterFactory.java:51) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.formats.hadoop.bulk.HadoopPathBasedPartFileWriter.write(HadoopPathBasedPartFileWriter.java:59) ~[flink-sql-connector-hive-2.2.0_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.write(Bucket.java:222) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.Buckets.onElement(Buckets.java:305) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSinkHelper.onElement(StreamingFileSinkHelper.java:103) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.table.filesystem.stream.AbstractStreamingWriter.processElement(AbstractStreamingWriter.java:140) ~[flink-table_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.pushToOperator(CopyingChainingOutput.java:82) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:57) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:29) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:56) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:29) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at StreamExecCalc$85.processElement_split6(Unknown Source) ~[?:?]
	at StreamExecCalc$85.processElement(Unknown Source) ~[?:?]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.pushToOperator(CopyingChainingOutput.java:82) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:57) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.CopyingChainingOutput.collect(CopyingChainingOutput.java:29) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.runtime.tasks.SourceOperatorStreamTask$AsyncDataOutputToOutput.emitRecord(SourceOperatorStreamTask.java:196) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.streaming.api.operators.source.SourceOutputWithWatermarks.collect(SourceOutputWithWatermarks.java:110) ~[flink-dist_2.11-1.14.2.jar:1.14.2]
	at org.apache.flink.connector.kafka.source.reader.KafkaRecordEmitter.emitRecord(KafkaRecordEmitter.java:36) ~[flink-sql-connector-kafka_2.11-1.14.2.jar:1.14.2]

解决方法

TaskManager内存加到16GB，仍然GC。根据任务情况，肯定不是内存设置的不足问题。
参考文章：

https://community.cloudera.com/t5/Support-Questions/I-am-getting-outofmemory-while-inserting-the-data-into-table/m-p/119682

原因是：写入的hive表分区数过多（分钟级），hive的格式是ORC。
ORC 编写器为每个输出文件保持一个缓冲区打开。因此，如果您严重加载到分区表，它们将保持大量内存打开。所以即使加到16GB也无济于事。
解决办法：将hive表的格式由ORC格式改成text格式，任务运行正常。

dgbcf
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink-Sql1.12 to Hive使用遇到的问题-程序宕机后重启遇大数据量积压导致taskmanager内存不足无法从指定offset启动
hehe1212tt的博客
09-15 127
2. 若数据量过大，程序报错：Caused by: java.lang.OutOfMemoryError: Java heap space，内存不足，导致无法checkpoints，分区数据文件无法提交，程序最终失败！1. 数据量太大，flink处理不过来时。会导致丢失任务失败的间隔段。（丢失的数据可以从kafka手动恢复,过程较为麻烦）1. flink在指定kafka offset启动(重启)后，会尝试将从指定offset的数据到最新的数据全部加载至内存并行输出;2. 将指定的offset调大。
kafka服务端频繁FullGC问题定位
wht_0217的博客
06-28 1167
kafka FullGC问题定位
flink常见故障排除
第一片心意的博客
10-16 6557
flink常见故障排除
Flink 学习十 FlinkSQL
weixin_44244088的博客
06-20 9694
flinksql 从入门到入门...
Flink消费Kafka数据1
08-03
Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用...
flink消费kafka到greenplum
05-06
本文将深入探讨如何使用Flink从Kafka消费数据并将其存储到Greenplum，同时也会介绍Flink的数据流（DataStream）和数据集（DataSet）API的使用，以及实时数据处理中的窗口应用。 首先，Apache Flink是一个开源的流...
flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo
06-26
代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
标题中的"Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql"是一个典型的实时数据处理场景，涉及到大数据技术栈中的三个关键组件：Apache Flink、Apache Kafka和MySQL。以下是对这些技术及其在该场景下应用...
flink-connector-hive-2.12-1.13.1.jar
最新发布
03-15
flink-connector-hive_2.12-1.13.1.jar 是 Apache Flink 的一个 Hive 连接器 JAR 包，用于在 Flink 中与 Apache Hive 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 ...
Flink TM内存详解
yzw_ai_sx的博客
01-06 1338
碰到说是DriectMemory内存超了，直接调task.off-heap.size，其他不需要调整，除非确认是framwork的问题，network不会把问题暴露在这个阶段。如果我们很依赖RocksDB进行状态数据存储，想要提高RocksDB的性能，就可以调大 fraction。Java 的 Overhead 就是给 TM 预留的内存，防⽌ Container 超内存被 yarn 或 K8s kill。程序在垃圾回收上花了很多时间，却手机一点点内存，伴随着会出现CPU的升高。
Flink读取Kafka数据写入Hive
weixin_40278610的博客
03-14 8960
本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。
flink1.11 消费kafka 流式写入hive
weixin_42094092的博客
08-12 2156
目前网上对于flinksql1.11消费kafka流式写入hive资料比较少,且大多是直接在flink中新建kafka表写入hive,但对多层嵌套的json解析不知支持力度几何 ,我这是使用streaming api 消费kafka先将json解析拉平,再转成临时表,最后流式写入hive,且看代码: package com.xxx.xxx import java.sql.Timestamp import java.util.Properties import java.time.Duration impo
数据湖之基于flink+hudi+hive的实践（一）
u013337425的博客
09-27 3837
文章目录1、介绍2、环境准备与部署3、遇到过的坑 1、介绍 hudi最新的0.9版本经过众人千呼万唤，终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。并且同时提供了2种原生语义： 1）Update/Delete记录：即通过hudi可以更新和删除表中记录，同时还提供写操作的事务保证。 2）Change Streams：可以从某个时间点获取给定表中已updated/inserted/deleted的所有记录的增量流。
Flink实战（111）：flink-sql使用（十九）Flink 与 hive 结合使用（八）Hive Streaming 实战解析
张伟的专栏
03-13 2176
《2021年最新版大数据面试题全面开启更新》 Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享： Hive Streaming 的意义 Checkpoint & Dependency 写入 Kafka Hive Streaming Sink Hi...
通过 Flink SQL 使用 Hive 表丰富流
大数据杂货铺的博客
11-22 2135
1. 介绍 流处理是通过在数据运动时对数据应用逻辑来创造商业价值。很多时候，这涉及组合数据源以丰富数据流。Flink SQL 执行此操作并将您应用于数据的任何函数的结果定向到接收器中。业务用例，例如欺诈检测、广告印象跟踪、医疗保健数据丰富、增加财务支出信息、GPS 设备数据丰富或个性化客户通信，都是使用蜂巢表来丰富数据流的很好的例子。 因此，Hive 表与 Flink SQL 有两种常见的用例： Lookup（查找）表用于丰富数据流用于写入 Flink 结果的接收器 对于这些用例中的任何一个，还有两种方法
【Flink】Flink 缓冲区去膨胀
九师兄
08-17 372
因此，Flink 对齐式 Checkpoint 具备了稳定的、可预测的对齐时间，反压时存放在非对齐式 Checkpoint中的数据量也极大程度减少了。当 Flink 应用出现（暂时的）反压时（例如外部系统反压或遇到数据倾斜），往往会导致网络缓冲区中存放了相对应用当前吞吐（因反压而降低）所需的带宽过多的数据。对齐的 Checkpoint 需要等待更多的数据得到处理，非对齐的 Checkpoint 则需要持久化更多排队中的数据。它通过自动调整网络内存的用量，在确保高吞吐的同时最小化缓冲区中的数据量。...
遇到了 GC overhead limit exceeded
天才周的博客
08-07 922
通过百度得知 大概意思就如果系统大量的时间都在GC（98%）而回收的效果不明显（2% heap空间），就会抛出这个异常。实际这是一个JVM预判性的异常，也就是说抛出这个异常的时候没有真正的内存溢出。 由此得出结论： 1.OOM根本原因是heap空间不足，在服务端添加参数-Xmx1024M –Xms1024M，异常消失。 2.OOM异常使线程退出，当没有非deamon线程的时...
OOM之GC overhead limit exceeded
lixinkuan的博客
12-22 1009
Java中的常见OOM有： java.lang.StackOverFlowError:栈溢出（其实属于SOFE） java.lang.OutOfMemoryError: java heap space java.lang.OutOfMemoryError: GCoverhead limit exceeded java.lang.OutOfMemoryError: Direct buffe...
【FLINK】RECEIVED SIGNAL 15: SIGTERM. Shutting down as requested.
Zsigner的博客
12-02 8349
参考以下两篇博客，定位解决了问题,【备注学习】 本人使用的版本是flink 1.10 1、Flink任务物理内存溢出问题定位 问题现象 一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本： 2019-03-17 16:05:28,854 INFO org.apache.flink.yarn.YarnTaskExecutorRunner - RECEIVED SIGNAL 15: SIGTERM..
使用java编写flink消费kafka写入hive的demo
04-05
以下是使用Java编写Flink消费Kafka写入Hive的示例代码： 1. 导入依赖 ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer; import org.apache.flink.streaming.util.serialization.KeyedSerializationSchemaWrapper; import org.apache.flink.streaming.util.serialization.SimpleStringSchema; ``` 2. 配置Kafka连接 ```java String kafkaBootstrapServers = "localhost:9092"; String kafkaTopic = "test"; Properties kafkaProps = new Properties(); kafkaProps.setProperty("bootstrap.servers", kafkaBootstrapServers); kafkaProps.setProperty("group.id", "flink-group"); ``` 3. 创建 Flink 环境和 Kafka 消费者 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> kafkaStream = env.addSource(new FlinkKafkaConsumer<>(kafkaTopic, new SimpleStringSchema(), kafkaProps)); ``` 4. 对收到的消息进行处理 ```java DataStream<String> processedStream = kafkaStream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 在这里对数据进行处理，返回处理后的数据 return value; } }); ``` 5. 将处理后的数据写入 Hive ```java String hiveTableName = "test"; String hiveMetastoreUri = "thrift://localhost:9083"; String hiveDbName = "default"; String hivePartitionColumn = "dt"; String hivePartitionValue = "20220101"; String hiveOutputPath = "/user/hive/warehouse/" + hiveDbName + ".db/" + hiveTableName + "/" + hivePartitionColumn + "=" + hivePartitionValue; DataStream<String> hiveDataStream = processedStream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 在这里将数据转换为 Hive 表的格式，返回转换后的数据 return value; } }); // 将数据写入 Hive hiveDataStream.addSink(new FlinkHiveOutputFormat<>(new Path(hiveOutputPath), new org.apache.hadoop.hive.ql.io.orc.OrcSerde(), new Object[]{})); ``` 6. 将处理后的数据写回 Kafka ```java String kafkaOutputTopic = "output"; FlinkKafkaProducer<String> kafkaProducer = new FlinkKafkaProducer<>(kafkaBootstrapServers, kafkaOutputTopic, new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), kafkaProps); // 将数据写回 Kafka processedStream.addSink(kafkaProducer); ``` 完整示例代码： ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer; import org.apache.flink.streaming.util.serialization.KeyedSerializationSchemaWrapper; import org.apache.flink.streaming.util.serialization.SimpleStringSchema; import java.util.Properties; public class FlinkKafkaToHiveDemo { public static void main(String[] args) throws Exception { String kafkaBootstrapServers = "localhost:9092"; String kafkaTopic = "test"; Properties kafkaProps = new Properties(); kafkaProps.setProperty("bootstrap.servers", kafkaBootstrapServers); kafkaProps.setProperty("group.id", "flink-group"); String hiveTableName = "test"; String hiveMetastoreUri = "thrift://localhost:9083"; String hiveDbName = "default"; String hivePartitionColumn = "dt"; String hivePartitionValue = "20220101"; String hiveOutputPath = "/user/hive/warehouse/" + hiveDbName + ".db/" + hiveTableName + "/" + hivePartitionColumn + "=" + hivePartitionValue; StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> kafkaStream = env.addSource(new FlinkKafkaConsumer<>(kafkaTopic, new SimpleStringSchema(), kafkaProps)); DataStream<String> processedStream = kafkaStream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 在这里对数据进行处理，返回处理后的数据 return value; } }); DataStream<String> hiveDataStream = processedStream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 在这里将数据转换为 Hive 表的格式，返回转换后的数据 return value; } }); DataStream<String> kafkaOutputStream = processedStream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 在这里对数据进行处理，返回处理后的数据 return value; } }); FlinkKafkaProducer<String> kafkaProducer = new FlinkKafkaProducer<>(kafkaBootstrapServers, kafkaOutputTopic, new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), kafkaProps); processedStream.addSink(kafkaProducer); hiveDataStream.addSink(new FlinkHiveOutputFormat<>(new Path(hiveOutputPath), new org.apache.hadoop.hive.ql.io.orc.OrcSerde(), new Object[]{})); env.execute("FlinkKafkaToHiveDemo"); } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值