Flink
文章平均质量分 91
唉.
后端、云计算、大数据
展开
-
Flink CEP简介
文章目录1、简介2、Flink CEP三种状态迁移边3、Flink CEP模式匹配过程1、简介Flink CEP是Flink的复杂事件处理库,允许用户快速快速检测无尽数据流中的复杂模式。但是CEP仅仅限于对DataStream API进行处理,Flink每个模式包含很多种状态,模式匹配过程就是状态转换的过程,每个状态可以理解成由Pattern构成,为了当前的状态转换成下一个状态,用户可以在Pa...原创 2019-11-22 11:15:51 · 910 阅读 · 1 评论 -
Flink--实现基于key/value的ListState
1、ListState简介Flink提供了三种基于key/value的state的实现方式,分别是:ValueState<T>ListState<T>ReducingState<T>官方文档关于state的使用方法,参考这里:Working with StateListState需要将某些值存到一个List中(Iterable),意味着缓存的数据不...原创 2019-11-19 01:03:03 · 4770 阅读 · 0 评论 -
Flink——Sink
文章目录KafkaRedisElasticSearchFlink没有类似Spark中foreach方法,让用户进行迭代的操作。虽有对外输出操作都要利用SInk完成。最后通过类似如下方式完成整个任务最终输出操作。 myDstream.addSink(new MySink(xxxx))官方提供了一部分的框架的Sink,初次之外需要用户自定义实现Sink。本项目所有代码上传到https://...原创 2019-10-24 18:17:26 · 532 阅读 · 0 评论 -
Flink详细介绍(三)
文章目录五、Time和Window5.1、Time5.2、Window1、概述2、Window类型5.3、Window API1、CountWindow2、TimeWindow3、Window Reduce4、Window Fold5、Aggregation on Window六、EventTime与Window6.1、EventTime的引入6.2、Watermark1、概念2、Watermar...原创 2019-10-19 10:26:49 · 1288 阅读 · 0 评论 -
Flink详细介绍(二)
文章目录四、Flink DataStream API4.1、Flink运行模型4.2、Flink程序架构4.3、Environment4.3.1、StreamExecutionEnvironment.getExecutionEnvironment4.3.2、StreamExecutionEnvironment.createLocalEnvironment4.3.3、StreamExecutionE...原创 2019-10-18 17:39:11 · 2418 阅读 · 0 评论 -
Flink详细介绍(一)
文章目录一、概述1.1、流处理技术的演变1.2、初识Flink1.3、Flink核心计算框架二、Flink基本架构2.1、JobManager和TaskManager2.2、无界数据流和有界数据流2.3、数据流编程模型三、Flink运行架构3.1、任务提交流程3.2、TaskManager与Slots3.3、DataFlow3.3、并行数据流3.5、task和operator chains3.6、...原创 2019-10-18 17:38:46 · 58097 阅读 · 2 评论 -
Flink-Core高级篇
文章目录1、DataStream转换<1>、映射<2>、FlatMap<3>、Filter<4>、KeyBy<5>、Reduce<6>、折叠<7>、聚合<8>、Window<9>、WindowAll<10>、WindowApply<11>、WindowReduce&l...原创 2019-10-06 16:14:25 · 3007 阅读 · 0 评论 -
Flink-Core基础篇
文章目录1、基于文件(1)、readTextFile(path)- TextInputFormat(2)、readFile(fileInputFormat, path)(3)、(fileInputFormat, path, watchType, interval, pathFilter, typeInfo)2、插座为基础socketTextStream3、基于集合(1)、fromCollectio...原创 2019-10-06 11:06:26 · 1345 阅读 · 0 评论 -
Flink集群部署
文章目录1、Standalone Cluster2、Flink On Yarn学习大数据搭建一个集群是必不可少的,那么下面就来简要介绍一下如何搭建一个Flink集群。local模式的集群一般是用来本地测试的,搭建起来也是很简单的在官网下载需要的安装包之后不需要修改任何配置就可以启动使用。在这里也不过过多的介绍了。1、Standalone Cluster首先下载我们需要的flink包并解压...原创 2019-10-04 12:17:51 · 430 阅读 · 0 评论 -
Flink入门demo
文章目录1、流处理实现WordCount-Java2、流处理实现WordCount-Scala3、批处理实现WordCount-Java4、批处理实现WordCount-Scala5、Streaming和Batch的区别专栏的上一篇文章已经简单介绍了Flink的一些基础知识和概念,现在我们来使用Flink实现一个大数据入门普遍使用的案例-WordCount。。Flink支持流处理同时也支持批处...原创 2019-10-04 12:17:38 · 1525 阅读 · 0 评论 -
Flink初识
文章目录1、Flink的技术特点2、Flink生态圈和基本架构3、Flink基本组件4、Flink和其他实时计算引擎对比Storm、Spark Streaming和Flink是现在主流的分布式实时处理框架,Spark Streaming在之前的文章中已经有了介绍。现在本人正在学习研究Flink,因此对Flink做一些简单的介绍。今天的这篇文章主要对Flink做一些简单的介绍。1、Flink的...原创 2019-10-03 19:25:51 · 489 阅读 · 0 评论