Flink
DataGPT
透过技术圈百态,体会世间冷暖,树立正确的技术观、人生观、价值观和世界观
展开
-
Flink on Yarn部署
环境信息:Hadoop版本:2.6.0Flink版本:1.1.2 快速部署Flink on Yarn环境:比如启动一个有4个TaskManager(每个节点都有4GB堆内存)的Yarn会话:1. 下载Flink的软件包,如flink-1.1.2-bin-hadoop26-scala_2.11.tgz(因为我的Hadoop集群版本为2.6.0,Flink的Binary包是包含Yarn客户端原创 2016-09-22 22:54:42 · 8289 阅读 · 2 评论 -
Flink的高可用集群环境
JobManager高可用(HA)JobManager协调每一个Flink集群环境,它负责作业调度和资源管理。默认情况下,一个Flink集群中只有一个JobManager实例,这很容易造成单点故障(SPOF)。如果JobManager奔溃了,那么将没有新的程序被提交,同时运行的程序将失败。 对于JobManager高可用来说,我们可以从失败的JobManager中恢复,因此可以消除单点故障的问题。原创 2016-09-23 17:34:21 · 6659 阅读 · 0 评论 -
Apache Flink的特性
ApacheFlink 是一个开源的分布式流处理和批处理系统。Flink的核心是在数据流上提供了数据分发、通信、具备容错的分布式计算。同时,Flink 在流处理引擎上构建了批处理引擎,原生支持了迭代计算、内存管理和程序优化。 Apache Flink的特性1. 流处理特性l 高吞吐、低延迟Flink 的流处理引擎只需要很少配置就能实现高吞吐率和低延迟。下图展示了一个分布式计数的任务的性原创 2016-09-21 18:24:25 · 2588 阅读 · 0 评论