Flume
XQ_WYL
这个作者很懒,什么都没留下…
展开
-
大数据入门之分布式日志收集框架Flume(1) -- Flume介绍以及环境搭建
1.Flume概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 2.Flume架构及核心组件 Flume里面有三大组件:Source、Channel、Sink。 Source:收集数据(比如从W...原创 2018-08-22 14:41:08 · 440 阅读 · 0 评论 -
大数据入门之分布式日志收集框架Flume(2) -- Flume简单使用
1.需求:从指定网络端口采集数据输出到控制台 用Flume就是要写配置文件,所以我们在flume下的conf目录,执行“vi example.conf”,内容如下。 # a1就是agent的名称 # r1就是source的名称,k1是sink的名称,c1是channel的名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source的具...原创 2018-08-22 16:08:12 · 304 阅读 · 0 评论