Flume 入门教程（超详细）

最新推荐文章于 2024-09-07 16:56:58 发布
最新推荐文章于 2024-09-07 16:56:58 发布
阅读量2.3w 收藏 371
点赞数 72
分类专栏： 大数据 # Flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42837961/article/details/104533147
版权

文章目录

1. Flume 概述

1.1 Flume 定义

  Flume 是 Cloudera 提供的一种高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。
  Flume 最主要的作用是，实时读取服务器本地磁盘的数据，将数据写到 HDFS。
在这里插入图片描述

1.2 Flume 基础架构

在这里插入图片描述

1.2.1 Agent

  Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。
  Agent 主要有三个组成部分，Source、Channel、Sink。

1.2.2 Source

  Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrif、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

1.2.3 Sink

  Sink 不断地轮询 Channel 中的事件且批量移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。
  Sink 组件的目的地包括 hdfs、logger、avro、thrif、file、HBase、solr、自定义。

1.2.4 Channel

  Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。
  Flume 常用的 Channel：Memory Channel 和 File Channel。

1.2.5 Event

  Flume 数据传输的基本单元，以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 Body 两个部分组成。Header 用来存放该 Event 的一些属性，为 K-V 结构；Body 用来存放该条数据，形式为字节数组。

2. Flume 的安装

2.1 安装地址

Flume 官网

Flume 1.9.0 官方文档

2.2 安装流程

  1. 将安装包 apache-flume-1.9.0-bin.tar.gz 上传到 Linux 系统上。
  2. 解压安装包到指定目录下
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/moudule/
  1. 重命名
mv apache-flume-1.9.0-bin flume
  1. 将 flume/conf 目录下的 flume-env.sh.template 文件修改为 flume-env.sh。
mv flume-env.sh.template flume-env.sh
  1. 配置 flume-env.sh 文件，将 LInux 系统的 jdk 的路径写到其中。
export JAVA_HOME=/usr/local/java/jdk1.8.0_151

3. Flume 入门案例

3.1 监控端口数据

3.1.1 需求

  使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。

3.1.2 分析

在这里插入图片描述

3.1.3 实现流程

  1. 安装 netcat 工具。
yum install -y nc
  1. 创建 FLume Agent 的配置文件 flume-netcat-logger.conf 。

（1）在 flume 目录下创建 job 文件夹并进入 job 文件夹。

mkdir job
cd job/

（2）在 job 文件夹下创建 FLume Agent 的配置文件 flume-netcat-logger.conf 。

vim flume-netcat-logger.conf

（3）在该配置文件中添加如下内容：

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 注：a1 为 agent 的名称。

  1. 开启 Flume 监听窗口

  写法一：

bin/flume-ng agent --conf conf --conf-file job/flume-netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

  写法二：

bin/flume-ng agent -c conf -f job/flume-netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
  1. 使用 netcat 工具向本机 44444端口发送内容
nc localhost 44444

在这里插入图片描述
5. 在 FLume 监听页面观察接收数据情况
在这里插入图片描述

3.2 监控单个追加文件

3.2.1 需求

  1. 实时监控 Hive 日志，输出到控制台。
  2. 实时监控 Hive 日志，输出到 HDFS 上。

3.2.2 分析

在这里插入图片描述
  注： 要想读 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令 。由于 Hive 日志在 Linux 系统中，所以读取文件的类型为：exec（execute）。表示执行 Linux 命令来读取文件。

3.2.3 实现流程

（一）输出到控制台

  1. 创建 flume-file-logger.conf 文件。
vim flume-file-logger.conf
  1. 配置该文件内容。
# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /hadoop/hive-2.3.6/logs/hive.log


# Describe the sink
a2.sinks.k2.type = logger

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2
  1. 运行 Flume。
 bin/flume-ng agent -c conf/ -f job/flume-file-logger.conf -n a2 -Dflume.root.logger=INFO,console
  1. 开启 Hadoop 的 Hive，并操作 Hive 产生日志。（比如：show databases;）
    在这里插入图片描述
  2. 在控制台查看数据。
    在这里插入图片描述

（二）输出到 HDFS 上

  1. 创建 flume-file-hdfs.conf 文件。
vim flume-file-hdfs.conf
  1. 配置该文件。
# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /hadoop/hive-2.3.6/logs/hive.log


# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://master:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs- 
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 10
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 30
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2
  1. 运行 Flume。
bin/flume-ng agent -c conf/ -f job/flume-file-hdfs.conf -n a2
  1. 开启 Hadoop 的 Hive，并操作 Hive 产生日志。（比如：show databases;）
    在这里插入图片描述
  2. 在 HDFS 上查看文件。
    在这里插入图片描述

3.3 监控目录下多个新文件

3.3.1 需求

  使用 Flume 监听整个目录的文件，并上传到 HDFS 上。

3.3.2 分析

在这里插入图片描述

3.3.3 实现流程

  1. 创建配置文件 flume-dir-hdfs.conf。
vim flume-dir-hdfs.conf
  1. 配置该文件内容。
# Name the components on this agent
a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/module/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp 结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)

# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path =  hdfs://master:9000/flume/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload- 
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 10
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000

a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3
  1. 启动监控文件夹命令。
bin/flume-ng agent -c conf -f job/flume-dir-hdfs.conf -n a3
  1. 向 upload 文件夹中添加文件。

  （1）在 /opt/module/flume/ 下创建文件夹 upload

mkdir upload

  （2）向 upload 文件夹中添加文件。

touch 1.txt
touch 2.txt
touch 3.txt
  1. 查看 HDFS 上的数据。
    在这里插入图片描述
  2. 再次查看 upload 文件夹。
    在这里插入图片描述

3.4 监控目录下的多个追加文件

  Exec Source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能实现断点续传，但延迟较高，不能实时监控；而 Taildir Source 既能实现断点续传，又可以保证数据不丢失，还能够进行实时监控。

3.4.1 需求

 

最低0.47元/天 解锁文章
入门简介教程-大数据组件flume
12-16
flume入门介绍，简单介绍flume的背景和应用场景，flume的实现原理以及案例分享
Flume 入门教程
zp8126的专栏
04-12 1619
Flume 是一个分布式、可靠且高可用的数据收集、聚合和传输系统，主要用于高效地处理大规模日志数据。设计之初，它主要服务于日志管理领域，但其灵活性和可扩展性使其能够适应多种数据源和目的地，适用于各类需要实时或批量数据流转的场景。
数仓工具之：Flume
最新发布
qq_62984376的博客
09-07 1063
处理数据样例：log='{"items":[},}'结果样例：首先， 既然是自定义拦截器，就需要使用java1） 创建maven项目，导入相关jar包--可以使用maven中的某些打包插件，不仅可以帮助我们打包代码还可以打包所依赖的jar包--><build><plugins><plugin>-- 禁止生成 dependency-reduced-pom.xml--><goals></goals>-- 解决包冲突 进行转换--><excludes><filters>
大数据处理工具1——Flume安装及使用
牧码杭城
06-29 635
大数据处理工具1——Flume安装及使用 序言：最近在做一个商业数据分析系统，用到了一些工具，把使用过程记录一下。           flume-1.7.0  +  Ubuntu 14.04.1 LTS  +  java-7-openjdk-amd64 + hadoop-2.6.0 一、下载解压     官网：http://flume.apache.org/     进入点击Downl
Flume教程(一) Flume入门教程
yuan_xw的专栏
04-13 1万+
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
Flume入门
雪泪寒的博客
08-08 688
1、介绍 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 2、核心概念 如图所示，Flume传...
Flume入门教程-简单案例
java的平凡之路
01-01 617
Flume入门教程-简单案例   1.下载安装   Java代码   官方网站：http://flume.apache.org/   http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz   tar -zxvf apache-flume-1.6.0-bin.t
Flume简介以及案例测试
weidajiangjiang的博客
09-21 563
参考借鉴： 用户文档： http://flume.apache.org/FlumeUserGuide.html 开发文档： http://flume.apache.org/FlumeDeveloperGuide.html Flume原理解析： https://www.cnblogs.com/zhangyinhua/p/7803486.html 参考原文地址：https://blog.csdn.ne...
详细图解 Flume介绍、安装配置-1
海阔天空
08-06 681
转载自：http://itindex.net/detail/49711-flume、
Flume 入门
weixin_44966780的博客
12-15 998
Flume 入门 1、Flume 安装部署 安装地址 （1）Flume 官网地址：http://flume.apache.org/ （2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html （3）下载地址：http://archive.apache.org/dist/flume/ 安装部署 （1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下 （2）解压 apache-flume-1.
Kafka 入门教程（超详细）
热门推荐
西门催学不吹雪
03-29 2万+
文章目录1. Kafka 概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种形式 1. Kafka 概述 1.1 定义    Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 1.2 消息队列 1.2.1 传统消息队列的应用场景 使用消息队列的好处： 解耦 允许独立的扩展或修改两边...
完整的flume教程
01-08
Flume:构建高可用、可扩展的海量日志采集系统 第一部分
超详细Flume搭建指南：从安装到日志采集实战
"这篇教程详细介绍了如何使用Flume来采集日志数据并将其传输到HDFS。内容涵盖了Flume的安装、配置、测试以及一个实际案例，适合初学者入门。" 在大数据领域，Flume是一个可靠且分布式的数据收集系统，常用于高效地...
Flume知识点全面总结教程
击水三千里的专栏
08-31 1321
Flume的前世今生
超级Ai与大数据避坑指南级教程 Azkaban+Flume+HBase+Kafka+Hive+数据仓库+推荐+学习
m0_52288145的博客
03-12 1157
超级Ai与大数据避坑指南级教程 Azkaban+Flume+HBase+Kafka+Hive+数据仓库+推荐+学习 40多G高容量的大数据修炼指南级课程，课程内容非常详细，在传统大数据课程基础上进行了更深一步的融合，技术课程的学习上可以单独的进行学习，也可以系统化的进行学习。课程内容包括了Scala数据结构和算法，智能数据仓库，业务仓库，电影推荐系统项目实战，机器学习模型和算法，推荐系统算法。Flume初级课程，Flume高级与案例课程，HBase优化与案例实战部分，Hive-HiveDDL-HiveDML
flume简单入门
weixin_43167990的博客
10-09 948
Flume 介绍 概述 Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 支持定制各类数据发送方，用于收集各类型数据；Flume 支持定制各类数据发送方，用于收集各类型数据；同时， Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 一般的采集需求，通过对 flume 的简单配置即可实现。 针对特殊场景也具备良好的自定义扩展能力。 ...
Flume的学习及使用
xhzxhz12的博客
05-19 850
第一章：Flume的简介 1.1 大数据处理流程 在企业中，大数据的处理流程一般是： 1.数据采集 2.数据存储 3.数据清洗 4.数据分析 5.数据展示 参考下图： 1.2 Flume的简介 Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。 参考官网： http://flume.apache
flume入门使用
weixin_44563670的博客
02-26 213
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 流式和非流式: 流式,处理数据单位很小, mapreduce 处理的文件大,不是流式架构 优点: 1.可以和任意进程集成 2.具有缓冲的能力,输入缓冲,写入hdfs中,减小hdfs的压力 3.flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。 Flume使用两个独立的事务分别负责从soucrce到channel
Flume 入门与简单运用
Stay Focused And Work Hard !!!
08-25 2695
一、Flume 简述 Flume是什么：通俗地说 Flume 就是一个日志采集工具。 版本进化过程：分为 Flume-og（0.9x 已停止更新了）、Flume-ng（1.x） 两个版本，Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为 Runner
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值