Flink 踩坑汇总

最新推荐文章于 2024-06-27 10:02:24 发布
最新推荐文章于 2024-06-27 10:02:24 发布
阅读量6.1k 收藏 3
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dh12313012/article/details/107163820
版权
这篇博客汇总了作者在学习Flink过程中遇到的两个主要问题：1）在使用field positions指定keys时出现InvalidProgramException，原因是尝试在Java程序中使用Scala的Tuple2；2）由于jar包冲突，KafkaConsumer调用assign方法时抛出NoSuchMethodError，解决方法是确保所有相关依赖版本一致。
摘要由CSDN通过智能技术生成

Flink 踩坑汇总

最近在学习Flink，踩坑汇总。（后续会持续添加）

1、Exception in thread “main” org.apache.flink.api.common.InvalidProgramException: Specifying keys via field positions is only valid for tuple data types. Type: GenericType<scala.Tuple2>

17:23:53,861 INFO  org.apache.flink.api.java.typeutils.TypeExtractor             - class scala.Tuple2 is missing a default constructor so it cannot be used as a POJO type and must be processed as GenericType. Please read the Flink documentation on "Data Types & Serialization" for details of the effect on performance.
Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Specifying keys via field positions is only valid for tuple data types. Type: GenericType<s
最低0.47元/天 解锁文章
dh12313012
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Flink系列：解决Specifying keys via field positions is only valid for tuple data types
NIO4444
06-27 3180
Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Specifying keys via field positions is only valid for tuple data types. Type: GenericType<scala.Tuple2> at org.apache.flink.api.common.operators.Keys$ExpressionKe...
Flink jar程序开发采坑笔记
a1106935516的博客
05-27 335
第一次开发Flink jar程序，遇到的了诸多问题，且由于调试不方便，每次改完代码要重新打包，上传公司的实时计算平台，启动验证，耗时诸多，因此记录下遇到的问题，防止下次再次踩坑。
Type EnumTypeInfo＜xxxxx＞ cannot be used as key. Contained UNSUPPORTED key types: EnumTypeInfo＜xxxxx＞
微电子学与固体电子学-俞驰
12-12 780
事情起因 https://github.com/chaoxxx/learn-flink-stream-api/blob/master/src/main/java/fun/cosmozhu/session16/main/StreamTest.java 这个repository被我clone下来后运行很顺利. 想复制到自己的另外一个工程里面,结果报错了 报错内容 22:45:50,226 INFO org.apache.flink.api.java.typeutils.TypeExtractor ..
Apache Flink类型及序列化研读&生产应用｜得物技术
最新发布
SmartCodeTech的博客
06-27 1864
本文将简单介绍它们背后的概念和基本原理，侧重分享在DataStream、Flink SQL自定义函数开发中对数据类型和序列的应用，以提升任务的运行效率。
Flink实现WordCount
行人事，知天命
04-14 4279
import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.tuple.Tup
解决java和scala的Tuple混用问题
L13763338360的博客
09-11 1773
背景简述 平时日常数据开发主要用idea，确实挺强大。近日写了个flink任务，非广播流和广播流合并，然后过滤处理。 处理逻辑都很通用，大概是这样：BroadcastConnectedStream的process调用了WhitelistBroadcastProcess类，该类继承BroadcastProcessFunction，并实现processElement和processBroadcastElement方法，分别处理广播流和非广播流。 问题描述 上图中红色波浪线提示错误 Cannot
lombok升级造成反序列化异常(missing default constructor or creator)
永远相信美好的事情即将发生
06-21 2130
背景 最近做项目时发现我们的项目中依赖的 lombok 版本有点旧，于是顺手给做了个版本升级。一开始没有什么问题，但是在上线后老代码中却报了一个错误。是 Jackson 在尝试反序列化一个 JavaBean 的时候报了反序列化异常，百般思索没有找到问题的原因，不得已又将版本回退回去。现在将整个流程做个回顾。 首先我们的老版本的 lombok 为 1.16.6 ，这个版本是 2015年8月19日发布的，可以看到是一个已经很老的版本，日常使用是没什么问题的。为了支持一些新的 lombok 特性，我将它升级为了
大数据问题排查系列 - HIVE踩坑记-HIVE-15642
热门推荐
明哥的IT随笔
08-24 2万+
前言大家好，我是明哥！本片博文是“大数据线上问题排查系列”大类别之一，讲述前段时间我司某产品在某券商遇到的一个问题及解决方案，其背后涉及到 hive 的一个 BUG,在 hive 3.0 ...
Apache DolphinScheduler 在叽里呱啦的实战经验
数据之路
06-24 2741
作者简介：wade，叽里呱啦攻城狮一枚，曾就职于苏宁，同花顺等，9个月大粿粿的爸爸。 前言 “工欲善其事，必先利其器” 在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身EasyScheduler (后面使用ES代替)，版本为1.1，差不多成了第一批在生产上使用海豚调度产品的吃瓜群众，同时我们也在密切关注社区的变化，并成功...
Java进阶之光！百万数据分页查询的方法及其优化方式
m0_56830725的博客
06-23 457
前言： 有人说世界上有三个伟大的发明：火，轮子，以及 Kafka。 发展到现在，Apache Kafka 无疑是很成功的，Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。在流式计算中，Kafka 一般用来缓存数据，例如 Flink 通过消费 Kafka 的数据进行计算。 而要谈对Kafka有多熟悉，我相信还是阿里的大佬们最有发言权，所以今天分享的内容，就是Alibaba内部首发的“限量笔记”，关于Kafka的精髓全部写在这里面了，真是不得不得不感叹：不愧是Alibaba的技术官
数据湖和Apache Iceberg，Apache Hudi，Delta Lake
flywind800的博客
06-17 821
数据湖这个词目前已经流行开来，逐步被数据相关的从业者接受，可能还有很多人不太清楚它和Hadoop，Hive，Spark这些大数据系统的区别，简单说数据湖是个业务概念，主要是为了区别传统数仓这个概念的。 提到数据湖，很多人会和Hudi，Iceberg, Delta Lake三个词联系起来，甚至觉得不用到上面三个技术的系统不是数据湖。这是不对的，数据湖是个业务概念，Hudi、Iceberg这些只是实现技术之一，而且仅用到Hudi、IceBerg或Delta Lake无法实现数据湖.........
Exception in thread “main“ org.apache.flink.api.common.InvalidProgramException: This type (GenericTy
lzp12345677的博客
07-05 664
Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: This type (GenericType<com.atguigu.apitest.beans.SensorReading>) cannot be used as key. at org.apache.flink.api.common.operators.Keys$ExpressionKeys.<init>(Keys.j.
java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;
Abandon_Sun的博客
09-10 1万+
 Flink入门程序异常，记录一下跟大家分享。 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#Stat...
【已解决 Flink Java API问题】The return type of function ‘xxx‘ could not be determined automatically
Aspirin's Nest
12-08 1870
Flink Java API不像Scala API可以随便写lambda表达式，写完以后需要使用returns方法显式指定返回值类型，否则会报下面错误，大概意思就是说Java的lambda表达式不能提供足够的类型信息，需要指定返回值类型。不推荐使用lambda表达式而是使用匿名类。 log4j:WARN No appenders could be found for logger (org.apache.flink.api.java.ClosureCleaner). log4j:WARN Please
Flink入门连接kafka异常处理Caused by: org.apache.flink.api.common.functions.InvalidTypesException: The types
Abandon_Sun的博客
09-10 7926
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for furthe...
org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2
乄浅醉的专栏
09-07 1万+
今天在写spark 提数的时候遇到一个异常，如下Caused by: java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to scala.Tuple2 at $anonfun$1$$anonfun$apply$1.apply(<co
【Flink实战系列】Flink 各种报错汇总以及解决方案(持续更新中)
JasonLee实时计算
02-06 4536
这篇文章主要用来记录平时使用 Flink 过程中遇到的问题以及解决方案,其实前面已经有一篇这样的文章了,但是那篇文章里面的问题已经很多了,不太方便浏览,所以新开了一篇文章,后面的问题都会更新到这篇文章中. ...
04_Flink Streaming DataStream
codemosi的专栏，点击我可以跳到目录一栏
06-06 2868
DataStream对象，简称ds，作为流计算编程的核心上下文。提供多种功能 //1:接入数据源 1：ds由env和SourceFunction产生，完成接入数据源的功能 //2:数据处理 2：filter。实现过滤功能 3：map，实现1->1的映射转换 4：flatmap，实现拆解字符串等复杂的转换功能 5：project，实现字段裁剪 6：transform实现复杂需求的功能
flink数据汇总分析
06-10
Flink是一种开源的分布式流处理框架，它可以用于实时数据处理和批处理。对于数据汇总分析，Flink可以通过实时计算来对数据进行处理和分析。 Flink的实时计算引擎可以处理来自多个数据源的数据流，并且可以在流中应用不同的算法和数据处理技术。这些技术包括窗口化、聚合、过滤、排序和连接等操作。Flink还可以将流数据转换为批处理数据，这使得它可以进行更复杂的数据分析。 在Flink中，您可以使用API来编写实时数据处理应用程序。这些应用程序可以在本地运行或在分布式集群上运行。Flink还提供了一些内置的库和工具，可以帮助您进行数据汇总分析，如Flink SQL、Flink Table API和Flink ML库等。 总之，Flink是一个非常强大的分布式流处理框架，可以用于实时数据处理、批处理和数据汇总分析。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值