flume
文章平均质量分 89
anningzhu
这个作者很懒,什么都没留下…
展开
-
flume介绍及其原理
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。flume可以搜集数据,合并数据。合并到什么地方,可以是hdfs。也就是flume可以与hadoop相结合复制代码设计目标:(1) 可靠性当节转载 2017-03-05 17:13:07 · 1071 阅读 · 0 评论 -
Flume-NG内置计数器(监控)源码级分析
Flume的内置监控怎么整?这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具,以及从浏览器获取json串,或者自定义向其他监控系统汇报信息。那监控的信息是什么呢?就是各个组件的统计信息,比如成功接收的Event数量、成功发送的Event数量,处理的Transaction的数量等等。而且不同的组件有不同的Countor来做统计,目前直到1转载 2017-03-06 13:48:56 · 497 阅读 · 0 评论 -
flume安装及source、sink、Channels测试
1.flume该如何安装?2.flume都包含什么?3.Flume Source测试,该如何测试?它的的源都可以是什么?4.Flume Source测试,spool目录下是否可可包含相应的子目录?5.flume sink 测试hadoop,需要做哪些工作?1.实验场景操作系统:CentOS 5.5JDK版本:1.7.0_21Flume版本:1转载 2017-03-10 17:53:35 · 465 阅读 · 0 评论 -
flume的sink端文件滚动配置项不起作用
1.flume滚动配置为何不起作用?2.通过源码分析得出什么原因?3.该如何解决flume小文件?本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下:[Bash shell] 纯文本查看 复制代码?123456789转载 2017-03-27 21:34:16 · 2667 阅读 · 0 评论 -
flume将log4j日志数据写入到hdfs
tier1.sources=source1tier1.channels=channel1tier1.sinks=sink1tier1.sources.source1.type=avrotier1.sources.source1.bind=0.0.0.0tier1.sources.source1.port=44444tier1.sources.转载 2017-04-18 17:49:04 · 849 阅读 · 0 评论