Flink 环境的搭建、独立集群、Flink on Yarn、访问Flink web界面、Flink提交任务的三种方式、Flink读取HDFS上的数据Flink 运行方式
Flink:框架和(分布式)引擎,对(有界和无界)数据流进行有状态(即存储中间结果)计算。有定义的开始,没有结束,必须持续处理,即摄取到数据立即处理有定义的开始,也有结束,摄取到所有数据后再计算,可以被排序,即无需有序摄取,通常称为批处理。内存:速度快,可靠性差分布式系统:速度慢,可靠性强DataStream 批流统一处理DataStream 批流统一处理,数据流的统一处理接口。批处理,是将其数据当作有界(有定义开始,有定义结束)流处理,例如文本文件数据。
原创
2024-02-18 14:45:12 ·
1301 阅读 ·
0 评论