大数据-Flink
大数据-Flink
张--小涛涛
风一样的小涛涛
展开
-
0007-Flink原理(Flink API--Flink API调用过程)
一、整体过程 二、Environment 创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境。 也就是说,getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。 createLocalEnvironment 返回本地执行环境,需要在调用时指定默认的并行度。 c...原创 2020-10-08 23:12:00 · 332 阅读 · 0 评论 -
0006-Flink原理(Flink数据流 & 执行图)
一、程序与数据流转换(DataFlow) • 所有的Flink程序都是由三部分组成的: Source 、Transformation 和 Sink。 • Source 负责读取数据源,Transformation 利用各种算子进行处理加工,Sink 负责输出 • 在运行时,Flink上运行的程序会被映射成“逻辑数据流”(dataflows),它包含了这三部分 • 每一个dataflow以一个或多个sources开始以一个或多个sinks结束。dataflow类似于...原创 2020-09-22 22:56:21 · 937 阅读 · 0 评论 -
0005-Flink原理(Flink任务提交 & 调度 & 相关概念 & Solt分配)
一、Flink任务提交流程 二、Flink任务提交流程(YARN) 图中的ResourceManager是YARN的ResourceManager,不是Flink的ResourceManager。Flink的ResourceManager在ApplicationMaster中。 三、Flink任务调度原理 1、输入Flink程序 2、将Flink程序转化为流图(类似于Spark的DAG) 3、将流图提交给JobManager,JobManager申请资源 4、J...转载 2020-09-21 23:20:02 · 385 阅读 · 0 评论 -
0004-Flink原理(Flink组件介绍)
一、Flink运行时组件总览 二、JobManager • 控制一个应用程序执行的主进程,也就是说,每个应用程序都会被一个不同的JobManager 所控制执行。 • JobManager 会先接收到要执行的应用程序,这个应用程序会包括:作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其它资源的JAR包。 • JobManager 会把JobGraph转换成一个物理层面的数据流图,这个图被叫做“执行图”(Exe...原创 2020-09-21 21:07:30 · 384 阅读 · 0 评论 -
0003-Flink运行helloWorld(Standlone模式)(后台命令提交)
一、将包上传至服务器 我们将0002章节出的jar包上传至服务器/home/flink-1.10.1/myPackage路径下 二、关闭之前的任务 注:因为我们只有一个solt,不关闭之前的任务,新提交的任务获取不到资源。 三、执行下方命令,提交任务 ./bin/flink run -c com.zjt.StreamWordCount /home/flink-1.10.1/myPackage/FlinkTurtorial-1.0-SNAPSHOT-jar...原创 2020-09-20 10:23:07 · 450 阅读 · 0 评论 -
0002-Flink运行helloWorld(Standlone模式)(Flink管理界面提交)
一、代码如下 package com.zjt import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala._ /** * Created by ZhangJintao on 2020/9/2. */ object StreamWordCount { def main(args: Array[String]) { // 创建一个批处理的执行环境原创 2020-09-20 10:08:03 · 482 阅读 · 1 评论 -
0001-Flink安装---Flink安装(Standlone模式)
一、获取安装包,上传至服务器并解压 在安装Flink之前,我们先要获取到flink-1.10.1-bin-scala_2.12.tgz.zip安装包。 执行下方命令解压flink安装包 cd /home/ tar -zxvf flink-1.10.1-bin-scala_2.12.tgz 如下图所示,解压完成 二、查看Flink配置文件 执行下方命令前往flink配置目录 cd /home/flink-1.10.1/...原创 2020-09-16 23:06:34 · 342 阅读 · 0 评论