![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 89
ziyang_wind
专注于java 大数据基础组件研究
展开
-
Flink 作业如何提升资源利用率?- Reactive 模式 ( 下 )
本篇文章是接着上一篇文章讲的,推荐看完上一篇文章《Flink 弹性伸缩 - Reactive 模式 ( 上 )》再来阅读本篇文章。四、AdaptiveScheduler 运行原理1、Reactive 模式调度器所涉及到的类型2、 AdaptiveScheduler 调度器本身是一个状态机3、AdaptiveScheduler 各个执行状态都在转换(WaitingForResources -> CreatingExecutionGraph)org.apache.flink.runtime.s原创 2022-02-19 21:15:56 · 1254 阅读 · 0 评论 -
Flink 弹性伸缩 - Reactive 模式 ( 上 )
一、Reactive 模式作业提交示例脚本wget https://dlcdn.apache.org/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgztar -xzvf flink-1.13.5-bin-scala_2.11.tgzcd flink-1.13.5/mkdir usrlibcp ./examples/streaming/TopSpeedWindowing.jar usrlib/./bin/standalone-job.sh sta原创 2022-02-12 13:19:29 · 1899 阅读 · 0 评论 -
flink 作业提交流程
之前给大家介绍了DataStream API中 Environment 和 Transformation 连个体系的源代码,今天来了小插曲,给大家宏观介绍下 Flink 作业的提交流程,希望对大家有帮助。一、DataStream 作业提交流程1)、首先,先给大家展示下流程图:2)、提交流程说明:FlinkCli 先创建一个 Flink 环境变量然后将环境变量存入到ThreadLocal中在启动 Flink 作业jar包的 main 方法Flink 应用程序通过 StreamExecution原创 2021-12-09 21:24:16 · 2919 阅读 · 0 评论 -
spark structured streaming
四、API using DataSets and DataFrames (上)1. create streaming DataFrames and DataSets(1) input sourcesfile sourcekafka sourcesocket sourcerate sourceSparkSession spark = ...// Read text from s...翻译 2019-11-06 10:26:36 · 125 阅读 · 0 评论