Hadoop之flume

浮生ㄛ

于 2023-11-16 22:47:15 发布

阅读量37

点赞数 1

文章标签： hadoop flume 大数据

本文链接：https://blog.csdn.net/ajiayh/article/details/134451966

版权

4.3.2 判断 44444 端口是否被占用

4.3.3 创建 Flume Agent 配置文件 flume-netcat-logger.conf

4.3.3.1 在 flume 目录下创建 job 文件夹并进入 job 文件夹。

4.3.3.2 在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。

4.3.3.3在 flume-netcat-logger.conf 文件中添加如下内容。

4.3.4 先开启 flume 监听端口

4.3.5使用 netcat 工具向本机的 44444 端口发送内容

4.3.6 我们能在启动页面看到如下内容说明运行成功

1、Flume 定义

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。

Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到 HDFS。

2、Flume 基础架构

Flume 组成架构如下图所示。

2.1 Agent

Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。

Agent 主要有 3 个部分组成， Source 、 Channel 、 Sink 。

2.2 Source

Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro 、thrift、 exec 、jms、 spoolingdirectory 、 netcat 、 taildir 、 sequence generator、syslog、http、legacy。

2.3 Sink

Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 组件目的地包括 hdfs 、 logger 、 avro 、thrift、ipc、 file 、 HBase 、solr、自定义。

2.4 Channel

Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个Sink 的读取操作。

Flume 自带两种 Channel： Memory Channel 和 File Channel 。

Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

2.5 Event

传输单元，Flume 数据传输的基本单元，以 Event 的形式将数据从源头送至目的地。

Event 由 Header 和 Body 两部分组成，Header 用来存放该 event 的一些属性，为 K-V 结构，Body 用来存放该条数据，形式为字节数组。

3、Flume 安装部署

3.1.1 安装地址

（1）Flume 官网地址：http://flume.apache.org/

（2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html

（3）下载地址：http://archive.apache.org/dist/flume/

3.1.2 安装部署

（1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下

这里可以直接在xshell进入到/opt/software目录下，直接将压缩包拖进去

（2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/module/目录下

[ajia@hadoop102 software]$ tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/

（3）修改 apache-flume-1.9.0-bin 的名称为 flume

[ajia@hadoop102 module]$ mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume

（4）将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.3.1

[ajia@hadoop102 lib]$ rm /opt/module/flume/lib/guava-11.0.2.jar

到此，我们的安装就完成了。

4、监控端口数据官方案例

4.1 案例需求：

使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。

4.2 需求分析：

4.3 实现步骤：

4.3.1 安装 netcat 工具

[aija@hadoop102 software]$ sudo yum install -y nc

4.3.2 判断 44444 端口是否被占用

[ajia@hadoop102 flume-telnet]$ sudo netstat -nlp | grep 44444

4.3.3 创建 Flume Agent 配置文件 flume-netcat-logger.conf

4.3.3.1 在 flume 目录下创建 job 文件夹并进入 job 文件夹。

[ajia@hadoop102 flume]$ mkdir job

[ajia@hadoop102 flume]$ cd job/

4.3.3.2 在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。

[ajia@hadoop102 job]$ vim flume-netcat-logger.conf

4.3.3.3在 flume-netcat-logger.conf 文件中添加如下内容。

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

# Describe the sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1