flume ng简单例子

原创 2015年11月18日 10:39:20

本例子来源于flume官方文档,主要演示部署flume agent单节点,接收信息然后控制台输出。

首先编辑配置文件,在conf目录中新建文件example.conf,然后添加以下内容:

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1


配置文件中定义了一个单节点agent名为a1. a1有一个source监听来自端口444444的数据,有一个channel缓冲事件数据在内存中,之后通过一个sink打印出事件内容到控制台。配置文件中同时会定义各个组件自己特有的一些配置参数。


然后启动:

bin/flume-ng agent --conf conf --conf-file conf/example.conf --name a1 -Dflume.root.logger=INFO,console

最后打开另外一个终端,执行命令:

uanggang@huanggangdeMacBook-Pro:~/workspace/dafka-project$ telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
hello world
OK

在之前启动flume agent的终端上就会显示刚才输出的内容:

2015-11-18 10:31:17,101 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 0D             hello world. }
2015-11-18 10:38:03,428 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 0D                                              . }



flume 的安装和入门小例子

本文结构 我的环境 CentOS 7 flume 安装与启动 flume 的avro小例子 Spool 的小例子 Syslogtcp 小例子 1. flume 安装与启动1.1 下载安装包访问官网传...
  • u012373815
  • u012373815
  • 2017年01月04日 22:58
  • 1306

flume-ng 实际应用例子,flume采集log4j日志

flume-ng 使用 avro source hdfs skin 实现 对java项目 log4j 日志的采集
  • linlinv3
  • linlinv3
  • 2015年11月26日 11:17
  • 8231

Flume NG 基本架构及原理

1 介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现...
  • zhaodedong
  • zhaodedong
  • 2016年09月14日 21:52
  • 3187

flume-ng安装,应用,几个简单测试例子!

flume-ng安装,应用,几个简单测试例子!
  • liangrui1988
  • liangrui1988
  • 2017年05月13日 02:13
  • 336

Flume-ng 例子

本文用到的 apache-flume-1.5.0-bin.tar.gz 关于Flume 的安装可以参考:http://blog.csdn.net/u012689336/article/detail...
  • u012689336
  • u012689336
  • 2016年10月12日 09:03
  • 421

flume-ng的简单使用

首先说下怎么安装吧,flume-ng的安装,flume-ng安装特别简单 1:首先下载安装包 解压,然后进入到conf目录下,首先把flume-env.sh.template文件修改名字为flume...
  • HANLIPENGHANLIPENG
  • HANLIPENGHANLIPENG
  • 2016年11月22日 20:48
  • 436

Flume-NG 日志文件收集 简单实例

公司计划部署Flume日志采集系统,所以简单学习了一下相关的配置和使用。主要在自己的虚拟机上测试验证。 虚拟机是CentOS6.7系统,Flume1.6.0。Flume安装很简单,下载官方软件包,解压...
  • w83304911
  • w83304911
  • 2015年12月01日 17:13
  • 1965

Flume-NG指令集和第一个简单的案例

# flume-ng指令 commands:   help                      display this help text   agent                ...
  • a118170653
  • a118170653
  • 2015年01月23日 11:39
  • 1726

flume-ng简单介绍

flume-ng 简单介绍
  • linlinv3
  • linlinv3
  • 2015年11月26日 11:10
  • 1277

flume-ng-extends-source-0.8.0.jar

  • 2018年01月08日 15:29
  • 33KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:flume ng简单例子
举报原因:
原因补充:

(最多只允许输入30个字)