flume
在屋顶听歌
Stay Focused And Work Hard !!!
展开
-
Flume 入门与简单运用
一、Flume 简述Flume是什么:通俗地说 Flume 就是一个日志采集工具。版本进化过程:分为 Flume-og(0.9x 已停止更新了)、Flume-ng(1.x) 两个版本,Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper,变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理(称为 Runner原创 2017-08-25 15:44:59 · 2592 阅读 · 0 评论 -
flume将指定目录下文件解析后入到Hbase(开启kerberos)
运用 Spooling Directory Source 可以实现将将要收集的数据放置到”自动搜集”目录中。这个Source将监视该目录,实时解析新文件。事件处理逻辑是可插拔的,当一个文件被完全读入通道,它会被重命名或可选的直接删除。本例为重命名。要注意的是,放置到自动搜集目录下的文件不能修改,如果修改,则flume会报错。另外,也不能产生重名的文件,如果有重名的文件被放置进来,则flume会报错原创 2017-08-28 11:27:55 · 3465 阅读 · 0 评论 -
flume 模拟将日志内容写入到 hive中
配置文件:# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F /usr/hdp/2.5.3.0-37/flu原创 2017-08-28 15:50:03 · 936 阅读 · 0 评论