流处理
皮皮鲁同学
这个作者很懒,什么都没留下…
展开
-
深度解析Flink flatMap算子的自定义方法(附代码例子)
之前的四篇文章对Flink常用的算子进行了详细讲解并附上了大量使用案例:Flink单数据流基本转换:map、filter、flatMapFlink基于Key的分组转换:keyBy、reduce和aggregationsFlink多数据流转换:union和connectFlink并行度和数据重分配总结下来不难发现,使用Flink的算子必须进行自定义,自定义时可以使用Lambda表达式,...原创 2019-12-31 16:47:06 · 4983 阅读 · 0 评论 -
Flink进阶教程:数据类型和序列化机制简介
几乎所有的大数据框架都要面临分布式计算、数据传输和持久化问题。数据传输过程前后要进行数据的序列化和反序列化:序列化就是将一个内存对象转换成二进制串,形成网络传输或者持久化的数据流。反序列化将二进制串转换为内存对象,这样就可以直接在编程语言中读写和操作这个对象。一种最简单的序列化方法就是将复杂数据结构转化成JSON格式。序列化和反序列化是很多大数据框架必须考虑的问题,在Java和大数据生态圈中,已有...原创 2019-12-30 11:30:14 · 1328 阅读 · 0 评论 -
Flink算子使用方法及实例演示:keyBy、reduce和aggregations
Flink的Transformation转换主要包括四种:单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。本文主要介绍基于Key的分组转换,关于时间和窗口将在后续文章中介绍。读者可以使用Flink Scala Shell或者Intellij Idea来进行练习:Flink Scala Shell使用教程Intellij Idea开发环境搭建教程Flink单数...原创 2019-12-23 18:54:35 · 2478 阅读 · 0 评论 -
Flink零基础实战教程:股票价格数据流实时处理
之前的文章《10行Flink WordCount程序背后的万字深度解析,读懂Flink原理和架构》使用WordCount展示了Flink程序的基本结构,本文将以股票价格来演示如何使用Flink的DataStream API。通过本文,你可以学到:定义相关数据结构。Flink流处理程序的骨架。Flink的执行环境概念。自定义Source、设置时间戳和Watermark。数据结构Fli...原创 2019-12-12 10:33:10 · 2071 阅读 · 0 评论 -
Kafka能做什么?十分钟构建你的实时数据流管道
本文将对Kafka做一个入门简介,并展示如何使用Kafka构建一个文本数据流管道,通过本文,读者可以了解一个流处理数据管道(Pipeline)的大致结构:数据生产者源源不断地生成数据流,数据流通过消息队列投递,数据消费者异步地对数据流进行处理。Kafka简介2010年,LinkedIn开始了其内部流数据处理平台的开发,2011年将该系统捐献给了Apache基金会,取名Apache Kafka(...原创 2019-12-08 07:01:28 · 715 阅读 · 0 评论