Flink
文章平均质量分 56
Flink相关
搬金砖的小白
热爱生活,热爱技术
展开
-
flatMap、map、filter简单图解
1 flatMap将一个流中嵌套的元素展开:也可以在这个过程中混合 map 和 filter (这里指“hdfs”转换为“hdfs666”(map);“hadoop”被过滤掉(filter)):2 map将一个流中的每个元素都对应转换(每个元素都加上“666”),处理前后元素的类型也可能不同:不同元素的对应转换方式也可能不同(除了“hdfs”加上“666”外,其余加“333”):3 filter过滤(这里指过滤掉“fuuf”)...原创 2021-05-06 23:01:01 · 657 阅读 · 0 评论 -
slf4j日志配置
Flink本地运行时需配置slf4j日志,才能在生成日志文件或在控制台输出日志依赖 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.21</version> </dependency&转载 2021-05-06 21:52:11 · 589 阅读 · 0 评论 -
【Flink】window入门
文章目录1 项目依赖2 基于时间的滚动窗口和滑动窗口3 基于数量的滚动窗口和滑动窗口4 错误和解决办法1 项目依赖 <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.apache.flink&原创 2021-03-23 17:21:52 · 118 阅读 · 0 评论 -
CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on ...
日志:Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType<Window.Sugar>Field expressions are only supported on POJO types, tuples, and原创 2021-03-23 17:20:12 · 634 阅读 · 1 评论 -
【Flink】Flink连接Kafka
文章目录1 项目依赖1 项目依赖原创 2021-03-22 19:06:41 · 1191 阅读 · 0 评论 -
【Flink】Sink入门
文章目录0 依赖1 预定义sink2 自定义sink0 依赖和这个一样:https://blog.csdn.net/Tiezhu_Wang/article/details/1150495121 预定义sinksink说明ds.print()直接输出到控制台ds.printToErr()直接输出到控制台,红色ds.writeAsText( path, WriteMode.OVERWRITE ).setParallelism(1)输出到path(并行度=1:path原创 2021-03-21 17:00:28 · 197 阅读 · 0 评论 -
【Flink】Transformation入门
文章目录0 项目依赖1 基本操作2 合并3 拆分4 分区4.1 reblance 重平衡分区4.2 其他分区0 项目依赖 <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.apache.fli原创 2021-03-21 16:37:54 · 285 阅读 · 0 评论 -
【Flink】Source入门
1 预定义Sourceimport org.apache.flink.api.common.RuntimeExecutionMode;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import java.util.Arrays;public class SourceEx原创 2021-03-18 17:38:47 · 114 阅读 · 0 评论 -
Flink提交时:Could not find a file system implementation for scheme ‘hdfs‘
命令和错误日志:[hadoop@localhost ~]$ flink run -c WordCountSourceDataStreamYarn ~/IdeaProjects/FlinkStudy/target/FlinkStudy-1.0-SNAPSHOT.jar------------------------------------------------------------ The program finished with the following exception:org.ap原创 2021-03-18 14:26:16 · 1650 阅读 · 0 评论 -
【Flink】DataStream入门:WordCount
1 项目依赖我的Scala版本是2.12,这里Flink的依赖要和Scala版本相对应 <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.apache.flink</groupId>原创 2021-03-18 13:15:13 · 158 阅读 · 0 评论