flink学习(4) 数据类型 udf 和各种sink

最新推荐文章于 2024-09-04 10:58:32 发布

a724952091

最新推荐文章于 2024-09-04 10:58:32 发布

阅读量472

点赞数

本文链接：https://blog.csdn.net/a724952091/article/details/106843365

版权

本文介绍了Flink支持的数据类型，包括基础类型、元组、样例类和复杂类型如Arrays、Lists、Maps和Enums。接着讨论了UDF（用户定义函数），包括函数类接口如MapFunction、FilterFunction、ProcessFunction以及匿名函数的使用。此外，文章还阐述了Flink的Sink概念，由于Flink没有类似Spark的foreach方法，所以所有输出都需要通过Sink实现，例如文件Sink、Kafka Sink、Redis Sink、Elasticsearch Sink以及JDBC Sink，并提供了自定义Sink的相关信息。

摘要由CSDN通过智能技术生成

flink支持的数据类型

java scala 所有基础数据类型

java scala元组类型

scala 样例类

java的简单对象

其他常见复杂数据类型 Arrays Lists Maps Enums 等

UDF函数

函数类

Flink 暴露了所有udf函数的接口（实现方式为接口或者抽象类）。例如MapFunction，FilterFunction，ProcessFunction等等

当然也可以用匿名函数的方式用

Sink

flink没有类似spark的foreach方法，让用户进行迭代的操作。所有对外的输出操作都要利用sink完成。

如以下两个就是常见定义好的 sink

print()
writeToSocket()

新版 sink到文件的方式

具体输出到文件可参考链接

两种方式 Row-encoded Formats

另一种 Bulk-encoded Formats

//输出到文件
val sink:streamingFileSink[String] = StreamingFileSink
            .forRowFormat(new Path(outputPath),new SimpleStringEncoder[String]("UTF-8")).build()
dataStream.addSink(sink)

kafka sink

依赖

 <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11&l

最低0.47元/天解锁文章

flink学习(4) 数据类型 udf 和 各种sink

flink学习(4) 数据类型 udf 和各种sink