flume
liangzelei
这个作者很懒,什么都没留下…
展开
-
Flume简介
Flume简介Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume只能在Unix环境下运行。Flume基于流式架构,容错性强,也很灵活简单。Flume、Kafka用来实时进行数据收集,Spark、Storm用来实时处理数据,impala用来实时查询。Flume角色Source用于采集数据,Source是产生数据流的地方,同时Source会将产生的数据流传输...原创 2018-05-05 10:43:09 · 128 阅读 · 0 评论 -
Ganglia的安装与部署
安装httpd服务与php# yum -y install httpd php安装其他依赖# yum -y install rrdtool perl-rrdtoolrrdtool-devel# yum -y install apr-devel安装ganglia# rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-...原创 2018-05-06 09:23:33 · 3977 阅读 · 2 评论 -
flume练习记录
flume-1监控日志,flume-1的数据传送给flume-2,flume-2将数据追加到本地文件,同时将数据传输到flume-3flume-work1-1.conf# Name the components on this agenta1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2# copy duohea1.sources.r1.selec...原创 2018-05-06 13:06:55 · 282 阅读 · 0 评论 -
Flume直接到SparkStreaming的两种方式
一般是flume->kafka->SparkStreaming,如果非要从Flume直接将数据输送到SparkStreaming里面有两种方式,如下: 第一种:Push推送的方式 程序如下: package cn.lijie import org.apache.log4j.Level import org.apache.spark.streaming.flume.FlumeUt...转载 2018-07-21 11:32:50 · 1360 阅读 · 2 评论