Flink
-无妄-
本人主要记录的是学习笔记和其他参考,持续学习中。。。
展开
-
9、Flink的部署以及作业提交
Flink源码编译下载源码:1、直接下载Flink1.7.2源码2、通过wget命令下载到服务器wget https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-src.tgzFlink单机部署官网连接前置条件:JDK8...原创 2019-10-25 14:55:18 · 530 阅读 · 0 评论 -
Flink中的处理状态 - Working with State
Flink中有两种基本状态:Keyed State和Operator State键控状态-Keyed StateKeyed State 始终与键有关,并且只能在KeyedStream上的函数和运算符中使用。可以将 Keyed State 视为已分区或分片的Operator State 每个键只有一个状态分区。每个keyed-state在逻辑上绑定到<parallel-operator-i...原创 2019-10-25 13:56:50 · 527 阅读 · 0 评论 -
Flink的分布式运行原理
Tasks 和 Operator Chains在分布式执行中,flink链操作子task一起放入task。每个task由一个线程执行。将操作链链接到task是一种优化,减少了线程到线程的切换和缓冲的开销,并且降低延迟的同时提高了总体吞吐量。下图中的示例数据流由五个子task执行,因此由五个并行线程执行。Job Managers,Task Managers,ClientsFlink运行的时...原创 2019-10-22 21:43:51 · 2381 阅读 · 1 评论 -
7、Flink中的Time及Windows的使用
Time事件时间 Event time(最准确):事件时间是每个事件在其生产设备上发生的时间。摄取时间 Ingestion time:摄取时间是事件进入Flink的时间。处理时间 Processing time(不准确):处理时间是指正在执行相应操作的机器的系统时间。不论流处理还是批处理;都建议以事件时间 Event time为基准来计算。设置时间类型val env = Stream...原创 2019-10-14 20:17:34 · 650 阅读 · 0 评论 -
6、Flink Table API & SQL编程
1、Flik关系型api概念最底层的Stateful event driven application是最难以使用的,因为接近底层;中层的DataStream api和DataSet api是对于开发人员来说是可以接受的;最上层的High-level编程格式是对各个程序员来说基本都会使用的,基于SQL的操作,同时也是流处理和批处理的一种统一的高级API。注意:(目前博客是1.9版本)Tabl...原创 2019-10-08 21:41:08 · 217 阅读 · 0 评论 -
5、DataStream API
1、编程概述Flink中的DataStream程序是常规程序,可对数据流实施转换(例如,iltering, updating state, defining windows, aggregating)。最初从各种来源(例如,消息队列,套接字流,文件)创建数据流。结果通过接收器返回,接收器可以例如将数据写入文件或标准输出(例如命令行终端)。Flink程序可以在各种上下文中运行,独立运行或嵌入其他程...原创 2019-09-27 12:46:07 · 300 阅读 · 0 评论 -
4、DataSet API编程
1、概念Flink中的DataSet程序是常规程序,可对数据集进行转换(filtering, mapping, joining, grouping)。最初从某些来源(sources)(by reading files, or from local collections)创建数据集。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或标准输出(例如命令行终端)。Flink程序可以在各种上...原创 2019-09-23 21:53:09 · 345 阅读 · 0 评论 -
3、编程模型以及核心概念
核心概念官网链接DataSet and DataStreamFlink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有界的情况下(批处理),对于一个DataStream元素的数量可以是无界的(流处理)。这些集合(数据)在某些关键方面与常规Java集合不同。首先,它们是不可变的,这意味着一旦创建它们就无法添...原创 2019-09-19 20:57:35 · 244 阅读 · 0 评论 -
2、快速上手开发Flink应用程序
开发环境准备1、JDK2、Maven3、IDEA使用Flink开发一个批处理应用程序以最简单的 word count 为案例开发流程set up the batch execution environmentreadtransform operations 开发的核心所在:开发业务逻辑execute program以Java语言开发官方网站案例第一种创建项目的方式m...原创 2019-09-16 20:53:15 · 388 阅读 · 0 评论 -
1、初识flink
Flink概述flink是什么Unbounded原创 2019-09-12 21:42:21 · 276 阅读 · 0 评论