Flume 2 安装配置, telnet配置，常用source采集方式

最新推荐文章于 2024-08-02 19:15:10 发布

pub.ryan

最新推荐文章于 2024-08-02 19:15:10 发布

阅读量636

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_36269641/article/details/109577334

版权

本文详细介绍了Apache Flume 2的安装、配置过程，并通过实例讲解了netcat、exec、spooldir和taildir四种source的使用方法，包括日志采集、端口传输和文件监控等。

摘要由CSDN通过智能技术生成

1. 上传解压

下载位置：https://archive.apache.org/dist/flume/1.9.0/

 apache-flume-1.9.0-bin.tar.gz        2020-07-06 15:17   65M

tar -zxf apache-flume-1.9.0-bin.tar.gz -C apps

cp flume-env.sh.template flume-env.sh

2、配置

conf下

flume-env.sh中入java路径：

查看版本：[root@c01 bin]# ./flume-ng version

序列化传输：./flume-ng avro-client

将日志利用avro协议序列化后再进行传输，可以跨平台的组件

3、入门案例

一些常见的source数据源采集方式：

3.1 source使用netcat source：通过指定的端口进行传输

定义一个agent a1

# example.conf: A single-node Flume configuration

# a1 agentname 1
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = c01  #or use ip 或任意：0.0.0.0
a1.sources.r1.port = 44444
a1.sources.r1.channels = c1


# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sinks.k1.channel = c1

启动：