一键搭建flink集群

本文介绍了Flink的核心组件,包括Data Source、Transformations和Data Sink,并探讨了其流处理和批处理的区别。接着详细阐述了Flink的三种数据传输模型,最后提供了详细的步骤来指导如何一键搭建Flink集群,包括在安装前需要启动Hadoop集群,以及在Linux上使用nc命令进行端口测试。
摘要由CSDN通过智能技术生成
一、什么是Flink

1.1、Flink三大核心组件
  1. Data Source

  2. Transformations

  3. Data Sink

1.2、Fink的流处理和批处理

流处理系统和批处理系统最大的不同在于节点之间的数据传输方式:

Flink同时支持这两种模式,Flink以固定的缓存块为单位进行网络数据传输,用户可以通过缓存块超时值指定缓存块的传输时机,如果缓存块的超时值为0,则Flink的数据传输方式类似于前面所说的流处理系统的标准模型,此时系统可以获得最低的处理延迟。如果缓存块的超时值为无限大,则Flink的数据传输方式,类似于前面所说的批处理系统的标准模型,此时系统可以获取最高的吞吐量。其实底层还是流式计算模型,批处理只是一个极限的特例而已

  1. 在大数据处理领域,批处理和流处理一般被认为是两种不同的任务,一个大数据框架一般会被设计为只能处理其中一个任务

  2. <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值