Flink报错:org.apache.flink.api.common.InvalidProgramException:

这篇文章讲述了如何在Apache Flink中处理不同类型的数据,尤其是当遇到Object类型的键值对时,遇到distinct操作报错。通过实例演示了正确的用法,即数据集必须包含可作为键的类型进行去重操作。
摘要由CSDN通过智能技术生成
val datas  = env.fromElements((1, "aa", 9), (3, "bb", 7) , (2, "bb", 6),
        (2, "aa", 6), (2, "aa", 6), (2, "aa", "6"))
    datas.distinct().print()
Picked up _JAVA_OPTIONS: 
Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: This type (GenericType<java.lang.Object>) cannot be used as key.
	at org.apache.flink.api.common.operators.Keys$ExpressionKeys.<init>(Keys.java:327)
	at org.apache.flink.api.common.operators.Keys$ExpressionKeys.<init>(Keys.java:291)
	at org.apache.flink.api.common.operators.Keys$ExpressionKeys.<init>(Keys.java:222)
	at org.apache.flink.api.java.operators.DistinctOperator.<init>(DistinctOperator.java:59)
	at org.apache.flink.api.scala.DataSet.distinct(DataSet.scala:990)
	at com.sydney.dream.flinkdemo.FlinkDatasetApi$.distinct(FlinkDatasetApi.scala:50)
	at com.sydney.dream.flinkdemo.FlinkDatasetApi$.main(FlinkDatasetApi.scala:43)
	at com.sydney.dream.flinkdemo.FlinkDatasetApi.main(FlinkDatasetApi.scala)

给的数据中,tuple的第三个元素的值,是object类型(有数字6,也有字符串“6”),不可以当做key。
正确如下:

 val datas  = env.fromElements((1, "aa", 9), (3, "bb", 7) , (2, "bb", 6),
           (2, "aa", 6), (2, "aa", 6), (2, "aa", 6))
       datas.distinct().print()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值