Flume
gebilaozeng
这个作者很懒,什么都没留下…
展开
-
大数据之Flume技术 (3)Flume的一些应用拓补结构
Flume拓扑结构一、简单串联 该结构为Flume与Flume之间通过sink和source进行简单得串联,但该结构模式不建议桥接过多的Flume数量, Flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机或者故障,会影响整个传输系统。二、复制和多路复用 这里得复制和多路复用通过设置ChannelSelector可以实现,分别是Replicating(复制)和Multiplexing(多路复用)。三、负载均衡和故障转移 Flume支持使用将多个sink,在逻辑上分原创 2020-05-21 22:11:34 · 229 阅读 · 0 评论 -
大数据之Flume技术 (2)Flume事物以及内部原理
Flume事务 Flume是一个基于流式架构一个日志收集传输系统,内部流式处理框架如下图:Put事务: (1) doPut:负责将Source拿到得数据上传到临时缓冲区putList中 (2)doCommit:该过程会检查Channel队列得大小是否足够存储putList中得数据,如果空间足够大,则执行doCommit将数据传到Channael; (3):doRollback:在步骤(2)当中,如果Channel队列得内存空间不足,则回滚数据;Take事务: (1) doTake:负责将数据原创 2020-05-21 21:59:00 · 246 阅读 · 0 评论 -
大数据之Flume技术 (1)基本概述以及基本架构
Flume概述一、 Flume定义 Flume是Cloudera提供的一个高可用的,高可靠(failover)的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 Flume一般运用于读取服务器磁盘里的数据并写入到HDFS当中;二、 Flume基本架构Flume组成架构如下图所示:Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的。 Agent主要有3个部分组成,Source、Channel、Sink。 Source Source是负原创 2020-05-21 21:30:47 · 712 阅读 · 0 评论