flume
落花流水i
致明日的舞
展开
-
flume拓扑结构之故障转移和负载均衡
关于故障转移:Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力,而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。我们去官网看一下Failover Sink Processor(故障转移)FailoverSink Processor会通过配置维护了一个优先级列表。保证每一个有效的事件都会被处理。故障转移的工作原理是将连续失败的sink分配到一个失败的消息队列中这个sink不会做任何事。假如在一个A原创 2020-07-04 21:52:37 · 631 阅读 · 0 评论 -
flume拓扑结构之多副本结构案例
1.案例需求使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3负责输出到Local FileSystem。2.需求分析:这里在Flume-1中没有使用一个Channel的原因是Sink组中并没有像Channel Selector具有Replicating这个功能。3.实现步骤先在hadoop102主节点机器上的/opt/module/flume/job目录下创建group1原创 2020-07-04 11:12:53 · 159 阅读 · 0 评论 -
flume的拓扑结构
1.简单串联:flume Agent连接这种模式是将多个flume顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量,flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。2.多副本结构Flume支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel中,或者将不同数据分发到不同的channel中,sink可以选择传送到不同的目的地。这种结构特点: 一个source,多原创 2020-07-04 09:48:49 · 263 阅读 · 0 评论 -
Flume Agent内部原理
1.最开始是由Source来从外部收集数据,收集完的数据会被封装在一个Event对象中,然后由Source调用一个Channel Processor,这样就相当于获取一个channel了,Channel Processor将Event事件传递给拦截器链(Intercepter,进行简单的数据清洗和过滤),清洗完以后再将数据返回到Channel Processor中。2.Channel Processor接受到数据以后就传给了Channel Selector,这里需要说明一下Channel Selector原创 2020-07-03 15:49:58 · 694 阅读 · 0 评论 -
flume的简单入门,部署安装和案例
一:flume的概述:1.flume的定义:Flume 是Cloudera提供的高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume 支持定制各类数据发送方,用于收集各类型数据;Flume 支持定制各类数据发送方,用于收集各类型数据;同时, Flume 提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 一般的采集需求,通过对 flume 的简单配置即可实现。 针对特殊场景也具备良好的自定义扩展能力。 因此, flume 可以适用于大部分的日常数据采集场景。并且flume原创 2020-07-02 17:33:38 · 285 阅读 · 0 评论