flume
qwurey
学生
展开
-
flume安装配置小结
测试:flume监视本地数据源上的数据变化,写入到hdfs中。flume版本:1.6.0 hadoop版本:2.7.1安装过程:(1)解压,配置 /etc/profile 并使之生效。 (2)配置 $FLUME_HOME/conf/flume-env.sh:export JAVA_HOME=/opt/jdk1.7.0_80(3)配置 $FLUME_HOME/conf/test-conf:#age原创 2015-10-24 11:36:33 · 514 阅读 · 0 评论 -
实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)
**设计方案:**Flume(日志收集) + ElasticSearch(日志查询)+ Kibana(日志分析与展示)实验使用场景:通过ambari部署集群后,可以添加自己的日志系统,记录每个组件的产生的日志,实时的查询分析一、Flume概述:Apache Flume is a distributed, reliable, and ava原创 2016-02-27 19:01:07 · 29215 阅读 · 1 评论 -
手动编译flume
版本:1.6.0源码下载地址:http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-src.tar.gzwindows解压到C盘下:进入C:\apache-flume-1.6.0-src,运行:mvn install -DskipTests -Dtar遇到如下错误: 在flume源码的pom.xml下加个reposi原创 2016-02-26 18:41:46 · 1578 阅读 · 0 评论 -
flume建立ElasticSearch索引时间的问题
本文转自:《flume建立ElasticSearch索引时间的问题》本文解决的是Flume导入es中建立的索引时间问题,(index也就是索引在es可以类比为database数据库)对于@timestamp在es中默认是UTC时区保存,不管flume导入的Date时区是多少,都会强制改为es中默认的时区,所以显示需要在kibana中设置Reference:htt转载 2016-03-28 15:16:09 · 5102 阅读 · 1 评论 -
六款大数据采集平台的架构分析
本文转自:《六款大数据采集平台的架构分析》文中介绍了目前业界存在的六款数据采集平台,数据采集平台可以作为数据平台的日志采集系统,个人尝试过Flume+ES+Kibana这样的开源组合,为什么这么选,因为Flume非常灵活且无缝的支持Hadoop生态系统的大部分组件,ES和Kibana也是比较成熟的开源大数据实时搜索展示的组合。随着大数据越来越被重视,数据采集转载 2016-03-29 10:15:48 · 22777 阅读 · 2 评论 -
源码分析Flume启动过程
对Flume-NG的agent启动过程进行详细的分析。原创 2016-04-16 14:04:10 · 1871 阅读 · 0 评论 -
Flume event转化为ES的document过程分析
使用更改后的MultiExecSource + MemoryChannel + ElasticsearchSink 将flume收集到的日志信息发送到es集群中。一条flume event的构成一个flume event由 header + body 构成:/** * Basic representation of a data object in Flume. * Provides acces原创 2016-05-18 22:18:47 · 2526 阅读 · 0 评论 -
Flume的Spooling Directory Source支持Sub-directories
使得Spooling Directory Source可以递归地对配置目录的所有子目录的所有文件进行监听。 现实需求Spooling Directory Source支持的feature官方介绍: https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source使用基本的Spooling Directory Source原创 2016-07-02 21:36:02 · 2817 阅读 · 0 评论 -
Flume1.7.0的TaildirSource介绍
使用更改后的TaildirSource,可以递归地监听配置目录的动态变化的文件。需求描述使用了SpoolDirectorySource可以配置一个监听目录,会监听该目录下所有的文件,但是如果配置目录下面嵌套了子目录,则无法监听,通过修改源码,我们可以递归地对配置目录的所有子目录的所有文件进行监听,见上一篇文章 Flume的Spooling Directory Source支持Sub-director原创 2016-07-02 21:39:04 · 14392 阅读 · 4 评论