flink-支持的数据类型和序列化（七）

最新推荐文章于 2024-05-13 09:57:11 发布

CurryYoung11

最新推荐文章于 2024-05-13 09:57:11 发布

阅读量556

点赞数

分类专栏： flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/CurryYoung11/article/details/105220886

版权

flink 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

flink-支持的数据类型和序列化（七）

datatype

Java Tuple 和 Scala case class
Java POJO：java实体类
Primitive Types
	默认支持java和scala基本数据类型
General Class Types
	默认支持大多数java和scala class
Hadoop Writables
	支持hadoop中实现了org.apache.hadoop.Writable的数据类型
Special Types
	例如scala中的Either Option 和Try

序列化

Flink自带了针对诸如int，long，String等标准类型的序列化器
针对Flink无法实现序列化的数据类型，我们可以交给Avro和Kryo
    使用方法：ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
    使用avro序列化：env.getConfig().enableForceAvro();
    使用kryo序列化：env.getConfig().enableForceKryo();
    使用自定义序列化：env.getConfig().addDefaultKryoSerializer(Class<?> type, Class<? extends Serializer<?>> serializerClass)