flume
G_scsd
决胜于千里之外,运筹于帷幄之中。
展开
-
flume的安装及使用
Flume是什么? Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。说白了flume就是可以从某个地方收集数据,再经过一个叫channel的通道后,将数据给某个东西,下面有张结构图,流程叫agent...原创 2018-04-26 18:30:18 · 595 阅读 · 3 评论 -
使用flume将数据导入到hdfs中
在前面的博客上我说了flume就是三个最重要的地方,分别是分别是source、channel、sink,source是获取数据,channel是通道,传输数据的,sink是把数据给谁的,这里显而易见的是把数据给hdfs的,所以我们只需要在前面的基础上改sink就可以了在之前的基础上修改a.conf文件中的sink修改完后启动hadoop 查看进程是否开启,...原创 2018-04-26 19:46:49 · 7449 阅读 · 12 评论