Flink支持的数据类型

概述

• Flink流应用程序处理的是以数据对象表示的事件流。所以在.Flink内部，我们需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点，Flink需要明确知道应用程序所处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每个数据类型生成特定的序列化器、反序列化器和比较器。
• Flink还具有一个类型提取系统，该系统分析函数的输入和返回类型，以自动获取类型信息，从而获得序列化器和反序列化器。但是，在某些情况下，例如 lambda函数或泛型类型，需要显式地提供类型信息，才能使应用程序正常工作或提高其性能。
• Flink支持Java和 scala中所有常见数据类型。使用最广泛的类型有以下几种。

基础数据类型

Flink支持Java和 scala中基础数据类型， Int，Double，Long，String。。。

DataStream<Integer> numberStream = env.fromElements(1,2,3,4);
numberStream.map(data -> data*2);

Java和Scala元组（Tuples）

DataStream<Tuples<String,Integer>> personStream = env.fromElements(
	   new Tuple2("Adam", 17),
	   new Tuple2("Sarah", 23);
personStream.filter(p ->p.f1 > 18);

Scala样例类（case classes）

case class Person(name: String, age: Int)
val person:DataStream[person] = env.fromElements(
	Person ("Adam", 17),
	Person ("Sarah", 23)
persons.filter(p =>p.age > 18)

Java简单对象（POJOs）

public class Person{
	public String name;
	public int age;
	public Person() {}
	public Person(String name, int age){
		this.name = name;
		this.age = age;
	}
}
DataStream<Person> persons = env.fromElements(
	new Person("Alex", 42),
	new Tuple2("Wendy", 23));

其他

Flink对Java和Scala中的一些特殊目的类型也都是支持的，比如Java的ArrayList，HashMap，Enum等等。