![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
程序猿小飞
做好自己该做的事。
展开
-
flume学习之一 是什么,主要应用在什么场景
1、Flume是什么?Flume是Cloudera开发的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据。数据源可定制、可扩展,数据存储系统可定制、可扩展。flume运行的核心是agent。它是一个完整的数据收集工具,含有三个核心组件,分别是source、channel、sink。通过这些组件,event可以从一个地方流...转载 2019-01-14 10:09:54 · 286 阅读 · 0 评论 -
flume配置采集日志
上传dir-hdfs.conf 到flume的conf目录下:#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1配置source组件ag1.sources.source1.type = spooldirag1.sources.source1.spoolDir = /opt/2019-1ag1...原创 2019-01-14 11:03:44 · 385 阅读 · 0 评论 -
flume原理解析
源码可以去apache 官网下载下面整理下flume的原理及代码实现:flume是一个实时数据收集工具,hadoop的生态圈之一,主要用来在分布式环境下各服务器节点做数据收集,然后汇总到统一的数据存储平台,flume支持多种部署架构模式,单点agent部署,分层架构模式部署,如通过一个负载均衡agent将收集的数据分发到各个子agent,然后在汇总到同一个agent上,数据传输到统一的数据存储...原创 2019-05-23 21:11:17 · 104 阅读 · 0 评论