Flink之Java lambda表达式

本文介绍了Java 8的Lambda表达式如何在Flink中用于函数式编程,强调了在使用Lambda时需要注意的类型信息问题。通过范例展示了如何实现匿名函数,并分析了在使用flatMap()时可能出现的编译问题,以及解决这些问题的方法。Flink在处理泛型时可能需要显式声明类型以避免异常和无效序列化。
摘要由CSDN通过智能技术生成

一.简介

Java 8引入了一些新的语言功能,旨在更快,更清晰地编码。它具有最重要的功能,即所谓的“ Lambda表达式”,为函数式编程打开了大门。Lambda表达式允许以直接方式实现和传递函数,而无需声明其他(匿名)类。

注意: Flink支持对Java API的所有运算符使用lambda表达式,但是,每当lambda表达式使用Java泛型时,都需要显式声明类型信息。

二.范例与限制

下面的示例说明如何实现一个简单的内联map()函数,该函数使用lambda表达式对输入进行平方。函数的输入i和输出参数的类型map()无需声明,因为它们是Java编译器推断的。

env.fromElements(1, 2, 3)
// returns the squared i
.map(i -> i*i)
.print();

Flink可以从方法签名的实现中自动提取结果类型信息,out map(in value)因为out【map的返回值类型】它不是通用的,而是in类型是可以自动推导的。

三.异常分析及解决方案

不幸的是,flatMap()带有签名的功能flatMap(IN value, Collector out)是flatMap(IN value, Collector out)由Java编译器编译进来的。这使得Flink无法自动推断输出类型的类型信息。

Flink很可能会引发类似于以下内容的异常:

org.apache.flink.api.common.functions.InvalidTypesException: The generic type parameters of 'Collector' are missing.
    In many cases lambda methods don't provide enough information for automatic type extraction when Java generics are involved.
    An easy workaround is to use an (anonymous) class instead that implements the 'org.apache.flink.api.common.functions.FlatMapFunction' interface.
    Otherwise the type has to be specified explicitly using type information.

在这种情况下,需要明确指定类型信息,否则输出将被视为Object导致无效序列化的类型。

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值