flume ng简单例子

原创 2015年11月18日 10:39:20

本例子来源于flume官方文档,主要演示部署flume agent单节点,接收信息然后控制台输出。

首先编辑配置文件,在conf目录中新建文件example.conf,然后添加以下内容:

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


配置文件中定义了一个单节点agent名为a1. a1有一个source监听来自端口444444的数据,有一个channel缓冲事件数据在内存中,之后通过一个sink打印出事件内容到控制台。配置文件中同时会定义各个组件自己特有的一些配置参数。


然后启动:

bin/flume-ng agent --conf conf --conf-file conf/example.conf --name a1 -Dflume.root.logger=INFO,console

最后打开另外一个终端,执行命令:

uanggang@huanggangdeMacBook-Pro:~/workspace/dafka-project$ telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
hello world
OK

在之前启动flume agent的终端上就会显示刚才输出的内容:

2015-11-18 10:31:17,101 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 0D             hello world. }
2015-11-18 10:38:03,428 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 0D                                              . }



相关文章推荐

flume-ng 实际应用例子,flume采集log4j日志

flume-ng 使用 avro source hdfs skin 实现 对java项目 log4j 日志的采集

Flume-ng 例子

本文用到的 apache-flume-1.5.0-bin.tar.gz 关于Flume 的安装可以参考:http://blog.csdn.net/u012689336/article/detail...

flume-ng安装,应用,几个简单测试例子!

flume-ng安装,应用,几个简单测试例子!

Flume-NG 日志文件收集 简单实例

公司计划部署Flume日志采集系统,所以简单学习了一下相关的配置和使用。主要在自己的虚拟机上测试验证。 虚拟机是CentOS6.7系统,Flume1.6.0。Flume安装很简单,下载官方软件包,解压...

Flume-NG指令集和第一个简单的案例

# flume-ng指令 commands:   help                      display this help text   agent                ...

flume-ng简单介绍

flume-ng 简单介绍

flume-ng的简单使用

首先说下怎么安装吧,flume-ng的安装,flume-ng安装特别简单 1:首先下载安装包 解压,然后进入到conf目录下,首先把flume-env.sh.template文件修改名字为flume...

Flume-ng资料合集

  • 2015年10月26日 23:28
  • 6.94MB
  • 下载

mvn flume ng sdk

  • 2017年09月28日 21:43
  • 6.4MB
  • 下载

高可用Hadoop平台-Flume NG实战图解篇

1.概述   今天补充一篇关于Flume的博客,前面在讲解高可用的Hadoop平台的时候遗漏了这篇,本篇博客为大家讲述以下内容: Flume NG简述 单点Flume NG搭建、运行 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:flume ng简单例子
举报原因:
原因补充:

(最多只允许输入30个字)