flume搭建

原创 2016年05月05日 23:27:42

jdk配置
/etc/profile 修改环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_77
export HADOOP_HOME=/lj/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

解压
tar -zxvf apache-flume-1.5.0-bin.tar.gz -C 路径

/lj/apache-flume-1.5.0-bin/conf
重命名 mv flume-env.sh.template flume-env.sh
flume-env.sh下配置
JAVA_HOME=/usr/java/jdk1.8.0_77

(注意:该路径和/etc/profile下的路径以及jdk的实际路径相同)

需要hadoop包,使用scp将
/lj/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
/lj/hadoop-2.2.0/share/hadoop/common/lib/commons-configuration-1.6.jar、hadoop-auth-2.2.0.jar、htrace-core-3.0.4.jar
/letv/data/hadoop-2.6.0/share/hadoop/hdfs/hadoop-hdfs-2.6.0.jar
拷贝到/lj/apache-flume-1.5.0-bin/lib下

将/lj/hadoop-2.2.0/etc/hadoop/{core-site.xml,hdfs-site.xml} 拷贝到/lj/apache-flume-1.5.0-bin/conf下

vim /etc/hosts

ip 主机名

然后创建要监听的目录mkdir /root/logs

启动
bin/flume-ng agent -n a4 -c conf -f conf/a4.conf -Dflume.root.logger=INFO,console

bin/flume-ng agent -n a2 -f /home/hadoop/a2.conf -c conf -Dflume.root.logger=INFO,console

-D指定运行时要打印在控制台的日志级别
INFO,Debug,warning

接下来将文件放入指定目录

配置文件log

#定义agent名, source、channel、sink的名称
log.sources = r1
log.channels = c1
log.sinks = k1

#具体定义source
log.sources.r1.type = spooldir
log.sources.r1.spoolDir = /letv/logs/test

#具体定义channel
log.channels.c1.type = memory
#容量 条
log.channels.c1.capacity = 10000
#事务容量
log.channels.c1.transactionCapacity = 100

#定义拦截器,为消息添加时间戳
#可以拦截无效数据
log.sources.r1.interceptors = i1
log.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder


#具体定义sink
log.sinks.k1.type = hdfs
#上层抽象,nameService,路由
#%Y%m%d 从拦截器得到时间
log.sinks.k1.hdfs.path = hdfs://ns1/nginx/%Y%m%d/ip
#前缀,随便起名字,名字是event-.时间戳
#log.sinks.k1.hdfs.filePrefix = ip-%Y%m%d
log.sinks.k1.hdfs.fileSuffix=.log
#纯文本
log.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
log.sinks.k1.hdfs.rollCount = 0
#两个条件满足其中一个就可以
#HDFS上的文件达到128M时生成一个文件
log.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
log.sinks.k1.hdfs.rollInterval = 60

#组装source、channel、sink
log.sources.r1.channels = c1
log.sinks.k1.channel = c1

配置文件a2


#定义agent名, source、channel、sink的名称
a2.sources = r1
a2.channels = c1
a2.sinks = k1

#具体定义source
a2.sources.r1.type = exec
#tail -F 监视文件的增长
a2.sources.r1.command = tail -F /home/hadoop/a.log

#具体定义channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

#具体定义sink
#logger是打印在控制台上
a2.sinks.k1.type = logger

#组装source、channel、sink
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1
版权声明:本文为博主原创文章,转载请注明出处。

相关文章推荐

flume+kafka+storm搭建

  • 2014-11-27 08:44
  • 259KB
  • 下载

Flume-ng 1.6.0+ Elasticsearch 1.7.2+ Kibana4 日志收集分析系统环境搭建及介绍

Flume-ng 1.6.0+ Elasticsearch 1.7.2+ Kibana4 日志收集分析系统环境搭建及介绍 1.Flume-ng介绍        FlumeNG 是Clouder...

Flume集群搭建

  • 2016-10-25 10:38
  • 69KB
  • 下载

SparkStreaming+Flume 环境搭建配置

1.JavaFlumeEventCountpackage cn.gitv.bi.log.analysis.spark; import org.apache.spark.SparkConf; impor...

flume开发环境搭建

有朋友提问flume开发环境怎么搭建的,给个pom文件放着,只能帮到这了 [html] view plain copy   project xmlns="ht...

单节点搭建flume之exec和spooldir

一、flume安装 1、上传flume包到master并解压缩 tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz 2、添加flume路径到.bash_profile中(可...

flume-ng+Kafka+Storm+HDFS 实时系统搭建

有的人说,直接用storm不就可以做实时处理了,用不着那么麻烦;其实不然,做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入-...

Flume 搭建环境和部署

flume搭建调试

Installing CDH3 https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation wget http://archive.cl...
  • yydcj
  • yydcj
  • 2013-04-24 20:11
  • 1772
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)