自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 Apache Flink(七):Flink Window

Flink Window 窗口计算窗口计算是流计算的核心,通过使用窗口对无限的流数据划分成固定大小的 buckets,然后基于落入同一个bucket(窗口)中的元素执行计算。Flink将窗口计算分为两大类:基于keyed stream窗口计算,使用的窗口分配器为window基于non-keyed stream窗口计算,使用的窗口分配器为windowAllWindow Assigners...

2019-11-20 22:19:52 200

原创 Apache Flink(六):Flink中的 State 和 Fault Tolerance

State 和 Fault Tolerance 状态和容错Flink将流计算的状态分为两类:Keyed Sate \ Opertator State.其中Keyed Sate状态是和操作符中的key绑定,而 Operator State只可以和操作符绑定。无论是Keyed state还是Operator State,Flink对状态的管理都分为两种形式: Managed State 和 Raw ...

2019-11-19 19:56:49 498

原创 Apache Flink(五): Flink Operator

Operator(操作符)DataStream Transformations 数据流转换Datastream -> DatasteamMap(映射)取一个元素并产生一个元素,是一个映射函数。下面的例子为使用Map将输入流的值加倍dataStream.map { x => x * 2 }FlatMap(展开)取一个元素并产生零个,一个或多个元素。FlatMap可将英文短...

2019-11-16 15:29:02 406

原创 Apache Flink(四):Flink对接Sink

Data SinkData sinks负责消费Data Stream的数据,将数据写出到外围系统。例如:文件/网络/NoSQL/RDBMS/Message Queue等。Flink底层也预定义了一些常用的Sinks,同时用户也可以根据实际需求定制Data Sink通过集成SinkFunction或者RichSinkFunction。File BasedwriteAsText()|write...

2019-11-15 10:51:18 502

原创 Apache Flink(三):Flink对接DataSource

DataSourceDataSource指定了流计算的输入,用户可以通过flink运行环境的addSource()方法添加自数据源,Flink已经预先实现了一些DataSource的实现,如果用户需要自定义自己的实现可以通过实现SourceFunction接口(非并行Source)或者ParallelSourceFunction 接口(实现并行Source)或者继承RichParallelSo...

2019-11-15 09:17:54 227

原创 Apache Flink(二):Flink的环境搭建和入门程序

Flink环境搭建设置CentOS进程数和文件数(重启生效) -可选 [root@Spark ~]# vi /etc/security/limits.conf * soft nofile 204800 * hard nofile 204800 * soft nproc 204800 * hard nproc 204800配置主机名(重...

2019-11-13 21:46:13 208

原创 Apache Flink(一):Flink的入门和架构

Apache FlinkFlink 概述Flink是构建在Data Stream之上一款有状态计算框架,被人们认为是第3代流计算框架三代大数据计算框架代数处理引擎第一代批处理:MapReduce 流处理:Storm第二代批处理:Spark RDD 流处理:使用micro-batch模拟流处理,例如DStream、StructuredStreaming...

2019-11-13 21:28:23 257

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除