![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
leboop-L
学习 分享
展开
-
Flink术语表(Glossary)
原文链接Flink Application Cluster Flink应用程序集群是一个专用的Flink集群(Flink Cluster),它只执行一个Flink作业。Flink集群的生存期与Flink作业的生存期绑定。以前的Flink应用程序集群也称为作业模式下的Flink集群。与Flink会话集群相比。Flink Cluster 由一个Flink主进程(Flink Master)和一个或多个Flink TaskManager进程组成的分布式系统。...翻译 2020-06-17 15:02:02 · 492 阅读 · 0 评论 -
Flink分布式运行环境(Distributed Runtime Environment)
目录任务和操作算子链(Tasks and Operator Chains)作业管理器、任务管理器和客户端(Job Managers, Task Managers, Clients)任务槽和资源(Task Slots and Resources)状态后端(State Backends)保存点(Savepoints)原文链接任务和操作算子链(Tasks and Operator Chains) 对于分布式执行,Flink将操作算子子任务(operator subta...翻译 2020-06-17 14:37:07 · 439 阅读 · 0 评论 -
Flink数据流编程模型(Dataflow Programming Model)
抽象层次(Levels of Abstraction) Flink提供了不同层次的抽象来开发流/批处理(streaming/batch)应用程序。如下:抽象级别从低到高依次是:Stateful Stream Processing —> DataStream/DataSet API —> Table API —> SQL。(1)Stateful Stream Processing 它是整个抽象的最底层,通过过程函数(Process Fun...翻译 2020-06-16 16:35:45 · 1284 阅读 · 0 评论 -
Flink任务提交
目录界面方式命令方式测试代码如下:package wordcountimport org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala._/** * Created by leboop on 2020/5/19. */object StreamWordCount { def main(args: Array[String]): Unit = {原创 2020-05-20 11:21:56 · 1451 阅读 · 1 评论 -
IDEA搭建Flink开发环境及WordCount
1、创建一个Maven项目并配置Java SDK和Scala SDK,如图:这里选择的是jdk1.8和scala2.12版本。2、添加pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...原创 2020-05-19 23:13:54 · 2582 阅读 · 0 评论 -
Linux安装Flink
1、下载flink-1.9.3-bin-scala_2.11.tgz2、解压tar -zxvf flink-1.9.3-bin-scala_2.11.tgz -C /opt/解压到/opt/目录下3、配置环境变量打开配置文件:vi /etc/profile配置内容如下:# Flinkexport FLINK_HOME=/opt/flink-1.9.3export PATH=$FLINK_HOME/bin:$PATH保存配置:source/etc...原创 2020-05-19 15:32:52 · 3370 阅读 · 0 评论