hadoop
文章平均质量分 77
个人博客主页:wyn-365.club
Coding路人王
V:CaptainWang365
展开
-
Flink与Spark的区别
三、Flink与Spark的区别3.1 设计理念1、Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。2、Flink是基于事件驱动的,是面向流的处理框架, Flink基于每个事件一行一行地流式处理,是真正的流式计算. 另外他也可以基于流来模拟批进行计算实现批处理。3.2 架构方面1、Spark在运行时的主要角色包括:Master、Worker、Driver、Executor。2、Fli原创 2021-11-14 11:05:28 · 8934 阅读 · 0 评论 -
Flume 读取本地数据输出到 HDFS/Kafka
一、介绍Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。1.9.0版是Flume的第11版,是Apache顶级项目。Flume 1.9.0是稳定的,可立即投入生产的软件,并且与Flume 1.x代码行的早期版本向后兼容。此版本进行了几个月的积极开发:自1.8.0版以来,已提交了约70个补丁,代表许原创 2020-10-24 09:32:01 · 873 阅读 · 0 评论 -
Flume 读取本地数据输出到 HDFS/Kafka
一、介绍Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。1.9.0版是Flume的第11版,是Apache顶级项目。Flume 1.9.0是稳定的,可立即投入生产的软件,并且与Flume 1.x代码行的早期版本向后兼容。此版本进行了几个月的积极开发:自1.8.0版以来,已提交了约70个补丁,代表许原创 2020-09-28 19:28:02 · 653 阅读 · 0 评论