flume 安装和使用教程

1.flume 需要Java1.7以上版本,然后需要配置好Java环境变量

 

2.下载软件。

Flume官网上http://flume.apache.org/download.html下载软件包,

wget "http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz"

tar -zxvf apache-flume-1.6.0-bin.tar.gz

3.简单示例。

修改配置文件。

  cd conf/

cp cp flume-conf.properties.template test.conf  

输入内容vim test.conf

# 指定Agent的组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

#

# # 指定Flume source(要监听的路径)

a1.sources.r1.type = spooldir

a1.sources.r1.spoolDir = /home/chao/txt

#

# # 指定Flume sink

a1.sinks.k1.type = logger

#

# # 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

#

# # 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

 

保存并退出

启动flume agent

bin/flume-ng agene --confconf--conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console


3.测试

写入内容。

vim 1.log

输入内容 this is a test 保存并退出。

 cp 1.log /home/chao/txt/

 

接着就可以在前一个终端看到刚刚采集的内容了,如下:

syslog数据测试。

root@m1:/home/hadoop# echo "hello idoall.orgsyslog"| nc localhost 5140




syslog数据到flume到kafka

配置文件。



单个source 多个sink。


Source类型。


 Channel 类型。


Sink类型:



配置

1.sinks.k1.sink.rollInterval = 0

30秒滚动一次文件。指定0将禁用滚动,并导致将所有事件写入一个文件。

a1.sinks.k1.type = file_roll 写文件。

a1.sinks.k1.sink.directory = /home/chao/log文件路径

a1.sinks.k1.sink.rollInterval = 0 只写一个文件。







 




  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值