Flume先入土后入门

远道可思

已于 2023-05-06 11:23:44 修改

阅读量191

点赞数

文章标签： flume 大数据

于 2023-05-05 09:18:05 首次发布

本文链接：https://blog.csdn.net/2302_76808348/article/details/130499532

版权

该文详细介绍了ApacheFlume的安装过程，包括创建软件目录、下载安装包、配置环境变量，以及设置源、通道和接收器的内存和磁盘需求。文章还展示了不同类型的Flume配置，如使用netcat收集网络数据、将文件传输到HDFS、从执行命令生成的日志中捕获数据，以及使用拦截器处理数据和将数据写入Hive等。此外，文中还提到了选择器和复制策略的配置示例。

摘要由CSDN通过智能技术生成

系统要求

java运行环境-java1.8或更高版本
内存-为源,通道或接收器的配置提供足够的内存
磁盘空间- 为通道或接收器使用的配置提供足够的磁盘空间
目录权限- 代理使用的目录的读/写权限

创建软件存放目录

mkdir -p /opt/soft
cd /opt/soft

下载安装包

wgt https://www.apache.org/dyn/closer.lua/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz

解压缩安装包并改名

tar -zxvf apache-flume-1.11.0-bin.tar.gz
mv apache-flume-1.11.0-bin.tar.gz flume

配置环境变量

vim /etc/profile

export flume_home=/opt/soft/flume
export PATH=$PATH:$FLUME_HOME/bin

检查

source /opt/soft

创建配置文件目录

mkdir -p /opt/soft/flume-conf
cd /opt/soft/flume-conf

采集网络数据

vim nercat.conf

编辑配置文件

# netcat.conf: 这是一个单节点flume配置

# 定义这个 agent 各个组件的名字
al.sources = r1
a1.sinks = k1
a1.channels = c1

#描述和配置 source 组件 r1
al.sources.r1.type = netcat
al.sources.r1.bind = ocalhost
a1.sources.r1.port = 44444

# 描述和配置 sink 组件 k1
# 1ogger 控制台打印
al.sinks.k1.type = logger

# 描述和配置 channe1 组件 c1 缓存事件在内存中
a1.channe1s.cl.type = memory
a1.channe1s.c1.capacity = 1000
a1.channe1s.cl.transactioncapacity = 100

# 绑定 source 和 sink 到 channel
a1.sources.r1.channels = c1
al.sinks.kl.channe1 = c1

启动agent

flume-ng agent -n a1 -c conf -f netcat.conf

在线下载并安装网络工具netcat

yum -y install nc

Natcat发送socket数据

nc spark03 44444

file-to-hdfs

创建hdfs文件

hdfs dfs -mkdir -p /region
hdfs dfs ls /

编辑配置文件

vim file2hdfs.conf

# netcat.conf: 这是一个单节点flume配置

# 定义这个 agent 各个组件的名字
al.sources=r1
a1.sinks=k1
a1.channels=c1

# 描述和配置 source 组件 r1
al.sources .r1.type = spooldir
al.sources.rl.spoolDir = /root/region
a1.sources .rl.fileHeader =