flume搭建

原创 2016年05月05日 23:27:42

jdk配置
/etc/profile 修改环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_77
export HADOOP_HOME=/lj/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

解压
tar -zxvf apache-flume-1.5.0-bin.tar.gz -C 路径

/lj/apache-flume-1.5.0-bin/conf
重命名 mv flume-env.sh.template flume-env.sh
flume-env.sh下配置
JAVA_HOME=/usr/java/jdk1.8.0_77

(注意:该路径和/etc/profile下的路径以及jdk的实际路径相同)

需要hadoop包,使用scp将
/lj/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
/lj/hadoop-2.2.0/share/hadoop/common/lib/commons-configuration-1.6.jar、hadoop-auth-2.2.0.jar、htrace-core-3.0.4.jar
/letv/data/hadoop-2.6.0/share/hadoop/hdfs/hadoop-hdfs-2.6.0.jar
拷贝到/lj/apache-flume-1.5.0-bin/lib下

将/lj/hadoop-2.2.0/etc/hadoop/{core-site.xml,hdfs-site.xml} 拷贝到/lj/apache-flume-1.5.0-bin/conf下

vim /etc/hosts

ip 主机名

然后创建要监听的目录mkdir /root/logs

启动
bin/flume-ng agent -n a4 -c conf -f conf/a4.conf -Dflume.root.logger=INFO,console

bin/flume-ng agent -n a2 -f /home/hadoop/a2.conf -c conf -Dflume.root.logger=INFO,console

-D指定运行时要打印在控制台的日志级别
INFO,Debug,warning

接下来将文件放入指定目录

配置文件log

#定义agent名, source、channel、sink的名称
log.sources = r1
log.channels = c1
log.sinks = k1

#具体定义source
log.sources.r1.type = spooldir
log.sources.r1.spoolDir = /letv/logs/test

#具体定义channel
log.channels.c1.type = memory
#容量 条
log.channels.c1.capacity = 10000
#事务容量
log.channels.c1.transactionCapacity = 100

#定义拦截器,为消息添加时间戳
#可以拦截无效数据
log.sources.r1.interceptors = i1
log.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder


#具体定义sink
log.sinks.k1.type = hdfs
#上层抽象,nameService,路由
#%Y%m%d 从拦截器得到时间
log.sinks.k1.hdfs.path = hdfs://ns1/nginx/%Y%m%d/ip
#前缀,随便起名字,名字是event-.时间戳
#log.sinks.k1.hdfs.filePrefix = ip-%Y%m%d
log.sinks.k1.hdfs.fileSuffix=.log
#纯文本
log.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
log.sinks.k1.hdfs.rollCount = 0
#两个条件满足其中一个就可以
#HDFS上的文件达到128M时生成一个文件
log.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
log.sinks.k1.hdfs.rollInterval = 60

#组装source、channel、sink
log.sources.r1.channels = c1
log.sinks.k1.channel = c1

配置文件a2


#定义agent名, source、channel、sink的名称
a2.sources = r1
a2.channels = c1
a2.sinks = k1

#具体定义source
a2.sources.r1.type = exec
#tail -F 监视文件的增长
a2.sources.r1.command = tail -F /home/hadoop/a.log

#具体定义channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

#具体定义sink
#logger是打印在控制台上
a2.sinks.k1.type = logger

#组装source、channel、sink
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
版权声明:本文为博主原创文章,转载请注明出处。

相关文章推荐

Flume集群搭建

  • 2016年10月25日 10:38
  • 69KB
  • 下载

Flume环境搭建、安装、部署

hadoop培训课程:Flume环境搭建、安装、部署 1、搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app...

Flume采集日志进入HDFS以及Hadoop环境搭建

Flume采集日志进入HDFS以及Hadoop环境搭建

基于flume+kafka+storm日志收集系统搭建

基于flume+kafka+storm日志收集系统搭建 1.     环境 192.168.0.2 hadoop1 192.168.0.3 hadoop2 192.168.0.4 hadoop3 已经...

Flume 搭建环境和部署

CentOS7环境下搭建flume

一、flume安装与配置1.将flume解压到指定目录/home/jason/bigdata下:[root@clsserv202 bigdata]# pwd/home/jason/bigdata[ro...

flume-ng+Kafka+Storm+HDFS 实时系统搭建

有的人说,直接用storm不就可以做实时处理了,用不着那么麻烦;其实不然,做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入-...
  • wwd0501
  • wwd0501
  • 2015年06月23日 16:35
  • 442

flume搭建调试

Installing CDH3 https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation wget http://archive.cl...
  • yydcj
  • yydcj
  • 2013年04月24日 20:11
  • 1874

flume-ng+Kafka+Storm+HDFS 实时系统搭建

【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建 一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Ka...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:flume搭建
举报原因:
原因补充:

(最多只允许输入30个字)