打怪升级之小白的大数据之旅(七十一)＜Hadoop生态：初识Flume＞

最新推荐文章于 2024-07-08 09:58:23 发布
最新推荐文章于 2024-07-08 09:58:23 发布
阅读量256 收藏 2
点赞数 1
文章标签： 大数据 hadoop flume 大数据传输
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Li_G_yuan/article/details/117627972
版权

打怪升级之小白的大数据之旅(七十一)

Hadoop生态：初识Flume

上次回顾

上一章，我们学习完了hive的内容，本章开始是Hadoop中经常使用的另外一个框架 Flume

初识Flume

下面这个是flume的标志
在这里插入图片描述
flume的中文是水槽，但我觉得将它音译为浮木更加贴切
在这里插入图片描述
官方对Flume的解释是这样的：

  • Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单

我对Flume的理解：

  • 在古代的时候，交通没有这么发达，通常比较大量的货物都是通过水路进行运送
  • 对应Flume中：source就是货物的源头，channel就是运送货物的船只，Sink就是码头来接收货物的
  • 因为可能会有转运货物的情况：在水面上进行货物的转运,这个情况对应的就是两个Flume之间的对接

Flume架构

了解完Flume是什么，接着我就正式介绍一下Flueme的架构
在这里插入图片描述
Flume由 Source Channel 和 Sink组成

  • Channel: 想象上面我说的栗子，船上是装数据的，它就是Channel
  • Source: 数据肯定有源头，这个数据的源头就是通过Source来获取数据
  • Sink: 既然有源头势必有终点，一个Flume的终点就是Sink，通过Sink可以将Channel的数据取出来
  • Agent: 每个Flume它启动时的进程就是Agent,当我们启动Agent时，就创建了一个Flume
  • Event: 此时，每一组数据通过Source进入到Channel时，这个过程就是Event事件来进行

正式点的Flume架构介绍

Agent
  • Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。
  • Agent主要有3个部分组成，Source、Channel、Sink
Source
  • Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据
  • 常用的source有
    • Avro Source(用于两个flume之间的传输)，它是一个轻量级的RPC的调用框架
    • ExecSource 命令行监控（常用于测试环境）
    • Taildir Source 监控多个目录中的动态变化数据，常用于在生产环境中，监控本地文件
    • Kafka Source 用于监控Kafka中的数据
    • NetCat Source 用于监控网络中的数据
      在这里插入图片描述
Sink
  • Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent
  • Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr以及自定义Sink
Channel
  • Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。
  • Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。
  • Flume自带两种Channel：Memory Channel和File Channel。
    • Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
    • File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据
Event
  • 传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。
  • Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组
    在这里插入图片描述

Flume的安装

安装地址
（1）Flume官网地址：http://flume.apache.org/
（2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html
（3）下载地址：http://archive.apache.org/dist/flume/

Flume的安装比较简单，下载好对应版本后，直接放到服务器中解压即可，我下载的是1.9.0版本的flume

# 将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下
# 解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下
tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
# 修改apache-flume-1.9.0-bin的名称为flume
mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume
# 将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3
rm /opt/module/flume/lib/guava-11.0.2.jar

# 建议添加Flume的环境变量
# flume
sudo vim /etc/profile.d/my_env.sh 
# flume
export FLUME_HOME=/opt/module/flume
export PATH=$PATH:$FLUME_HOME/bin

Flume入门案例

我们先在flume的根目录下创建一个用于案例测试的文件夹 test_job

mkdir /opt/module/flume/test_job

官方案例：监控端口数据

需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台

案例实现：

安装 netcat工具：模拟一个客户端生产数据

# 安装netcat工具
sudo yum install -y nc

检查待测试端口是否被占用

sudo netstat -nlp | grep 44444

创建Flume的Agent进程启动配置文件(因为Flume需要根据配置文件知道Source是谁，数据要传递给谁)

vim /opt/module/flume/test_job/netcat-flume.conf
# 定义Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 指定source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 指定sink
a1.sinks.k1.type = logger

# 指定Channel缓冲区类型
a1.channels.c1.type = memory

# channel最大容量
a1.channels.c1.capacity = 1000

# 每次传输事件的大小
a1.channels.c1.transactionCapacity = 100

# 绑定source,sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 参数说明
    在这里插入图片描述

根据配置文件启动flume

第一种写法：
flume-ng agent --conf conf/ --name a1 --conf-file test_job/netcat-flume.conf -Dflume.root.logger=INFO,console
第二种写法：
flume-ng agent -c conf/ -n a1 -f test_job/netcat-flume.conf -Dflume.root.logger=INFO,console
  • 启动命令参数说明
    --conf/-c：表示配置文件存储在conf/目录
--name/-n：表示给agent起名为a1
--conf-file/-f：flume本次启动读取的配置文件是在test_job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger=INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error

启动netcat，模拟客户端，传递数据

nc localhost 44444
  • 运行之后，我们在该窗口下开始模拟传输数据：分别写入hello world
    在这里插入图片描述
  • 左边窗口是我们的agent进程(启动的flume)，右边就是我们模拟的客户端netcat

这个案例是不是似曾相识？没错，这个案例就类似我们网络编程中的那个Socket端口监听

实时监控单个追加文件

学会了如何使用控制台在本地进行数据的读取，接下来，我们来学习如何监控一个文件的内容写入，写入流程如下：
在这里插入图片描述

  • 我们要实现监控HDFS中的文件监控，就需要运行Hadoop，自然的，首先要配置好Java和Hadoop，并且运行Hadoop集群，
  • 这个步骤我前面有专门介绍过，下面案例采用读取hadoop中hive产生的日志信息，我们直接进入案例实操
案例实现：

创建flume-file-hdfs.conf文件

vim /opt/module/flume/test_job/flume-file-hdfs.conf
# Name
# Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log

# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# sink
a1.sinks.k1.type = hdfs
# 配置保存在HDFS的路径
a1.sinks.k1.hdfs.path = hdfs://hadoop112:8020/flume/%y%m%d/%H
# 上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
# 是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 一次积攒多少个Event就flush到HDFS
a1.sinks.k1.hdfs.batchSize = 100
# 设置文件类型可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
# 多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
# 文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行flume

flume-ng agent -c conf/ -f test_job/flume-file-hdfs.conf -n a1

运行hive并操作hive产生日志信息

# 模拟日志信息产生
echo hello >> hive.log

运行结果如下：成功在HDFS保存了日志信息
在这里插入图片描述

实时监控目录下多个新文件

我们继续对上一个案例进行改进，当我们知道了如何监控一个文件，接下来就是如何监控一个文件夹下的多个文件，此时就需要学习一下spooling source, spooling的流程如下：
在这里插入图片描述
为了便于区分，我修改了一下hdfs的保存路径，案例如下：

# Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/module/flume/upload
# 设置监控的文件后缀名
a1.sources.r3.fileSuffix = .COMPLETED
a1.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a1.sources.r3.ignorePattern = ([^ ]*\.tmp)

# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# sink
a1.sinks.k1.type = hdfs
# 配置保存在HDFS的路径
a1.sinks.k1.hdfs.path = hdfs://hadoop112:8020/flume/upload/%Y%m%d/%H
# 上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
# 是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 一次积攒多少个Event就flush到HDFS
a1.sinks.k1.hdfs.batchSize = 100
# 设置文件类型可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
# 多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
# 文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

运行flume

flume-ng agent -c conf/ -f test_job/flume-dir-hdfs.conf  -n a1

模拟文件夹中多个文件及其数据的产生

# 模拟文件夹
mkdir /opt/module/flume/upload
# 模拟生成多个文件
vim 1.txt
vim 2.txt
vim 3.txt
# 模拟日志信息产生
echo hello >> 1.txt
echo world >> 2.txt
echo flume >> 3.txt

运行结果如下：成功在HDFS保存了日志信息
在这里插入图片描述

实时监控目录下的多个追加文件

回顾一下前面的案例：

  • Exec source适用于监控一个实时追加的文件，不能实现断点续传
  • Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步

有了前面的铺垫，接下来就是我们日常工作中经常使用的重点内容了

  • Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 Taildir 流程如下:
    在这里插入图片描述

tail dir 和前面我们的spooling类似，只是source不同而已，因为tail dir 会对操作行为做一个标记，为了便于查看，我们将该标记路径改为tail_dir.json文件，配置如下：

# Name
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
# TailDir的标记文件保存路径
a3.sources.r3.positionFile = /opt/module/flume/tail_dir.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /opt/module/flume/files2/.*log.*


# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# sink
a1.sinks.k1.type = hdfs
# 配置保存在HDFS的路径
a1.sinks.k1.hdfs.path = hdfs://hadoop112:8020/flume/upload/%Y%m%d/%H
# 上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
# 是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# 一次积攒多少个Event就flush到HDFS
a1.sinks.k1.hdfs.batchSize = 100
# 设置文件类型可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
# 多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
# 设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
# 文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

创建测试文件夹

mkdir /opt/module/flume/files
mkdir /opt/module/flume/files2

运行flume

模拟测试数据

echo hello >> files/1.file
echo world >> files2/1.file
echo java >> files/1.file
echo hadoop >> files2/2.file
echo hive >> files2/2.file
echo flume >> files/3.file
echo hadoop222 >> files2/1.file

运行结果如下：
在这里插入图片描述

总结

今天为大家带来了flume框架，一句话总结:

  • flume 是专门用于海量日志数据传输而诞生的框架

本章的重点内容就是掌握TailDir的用法，下一章，我为大家带来Flume框架的原理知识

GaryLea
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
Hadoop学习之-Flume
Leonardy的博客
11-15 250
Apache Flume关于Flume1.安装Flume2.Flume样例3.事务和可靠性4.HDFS sink 关于Flume Hadoop的宗旨是处理大型数据集。通常，我们假设这些数据已经存储在HDFS中，但是如果数据不再HDFS怎么办？ 设计Flume的宗旨是向Hadoop批量导入基于事件的海量数据。 Flueme通常用来向Hadoop导入日志文件。 1.安装Flume ①首先下载并解压Ap...
Flueme学习之路（一）Flume的基础介绍
weixin_30376453的博客
08-20 191
背景 Hadoop业务的整体开发流程： ​ 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ​ 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需要具有如下的特征： 构建应用系统的和分析系统的桥梁，并将它们之间的关系解耦； 支持近实...
storm+kafka+flueme
Suoh_Mikoto的博客
11-26 189
“alt+p”上传“apache-flume-1.9.0-bin.tar.gz”包并解压—“tar -zxvf apache-flume-1.9.0-bin.tar.gz -C app/” 根目录新建“flumedata”—“mkdir flumedata”，写入数据 替换—“echo 1 > 1.log” 追加—“echo 1 >> 1.log” 进入“app/apache-...
Flume(一) Flume初识 环境的搭建和配置
Be yourself.
01-09 3898
Flume初识本文主要包括如下的几个部分： 下载Flume 配置Flume 启动Flume 及其命令解析 1. 下载Flume到Flume的官方网站下载相关文件Flume官网，本人下载的是最新的稳定版本：1.7.0。(ps:下载编译后的文件，不要下载源文件。我们的目标是使用Flume，而不是研究Flume的源码。) 下载图示如下： 2. 配置Flume的配置文件 为什么需要配置Flume的文
Flume详解(一)
登峰造极胡子球手
06-29 1万+
1、Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 2、为什么选用flume flume的主要功能：就是实时读取服务器本地磁盘的数据，将数据写入到HDFS上 3、Flume 组成架构 简易架构图 详细架构图 ...
打怪升级之小白的大数据之旅--hive测试数据
06-03
总的来说，"打怪升级之小白的大数据之旅--hive测试数据"是一段从零开始的Hive学习旅程，涵盖了数据导入、表设计、SQL查询等多个环节，旨在帮助初学者掌握大数据分析的基本技能，为日后的数据挖掘和业务洞察奠定基础...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
一步一步学习大数据：Hadoop生态系统与场景
01-27
【大数据Hadoop生态系统的概述】 大数据的出现是由于互联网和物联网的快速发展，导致数据量呈指数级增长。根据IDC的预测，到2020年，全球数据量将达到44ZB，远超传统存储技术和架构所能承载的范围。大数据的特性被...
大数据之路选择Hadoop还是MaxCompute？Hadoop开源与MaxCompute对比材料
06-27
大数据之路选择Hadoop还是MaxCompute？Hadoop开源与MaxCompute对比材料
flume使用详解
小江专栏
11-25 6418
引言 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume环境搭建 安装：cdh版本：flume-ng-1.5.0-cdh5.3.6.tar.gz tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /o
Flume 各种坑
语不惊人死不休
01-04 4万+
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。 用 Flume ，主要用到的 Source 是 spool
flume介绍与原理(一)
weixin_33958585的博客
07-10 823
    1 .背景   flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.   2 .概述 ...
Flume架构以及应用介绍
热门推荐
什么最重要？算法！！
05-31 9万+
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日志
centos7.4安装flume
sinat_41824235的博客
10-18 773
1、查看java是否安装，没安装的安装，这里java已经安装不在进行安装 2、查看java的安装路径（根据自己的个人情况） 3、设置java环境变量 vi /etc/profile 在文件末尾加上下面两行 ：注意JAVA_HOME为java的安装路径，根据自己实际情况填写 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk- 1.8.0.18...
flume jvm调优_[Flume]Flueme原理学习笔记
weixin_39622150的博客
12-20 157
Flume 定义Flume是一个高可用、高可靠的，分布式的海量日志采集、聚合和传输的系统。基于流式框架，灵活简单。AgentAgent 是一个JVM 进程，以事件的形式将数据从源头送至目的地,是Flume传输的基本单位Source负责接收数据到flume agent的组件ChannelChannel 是位于Source和Sink 之间的缓存区。运行Source和Sink运行在不同的速率上; Cha...
阶段三：项目开发---大数据开发运行环境搭建:任务8：安装配置Redis
qq_60872637的博客
07-07 1223
安装配置Redis： 安装配置Redis：无Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI编写、支持网络、可基于内存亦可持久化的日志型、Key-Value，并提供多种语言的API。任务主要内容是Redis的下载安装，启动测试以及出现问题的相应解决方法。
Memcached在大数据量下的挑战：性能瓶颈与优化策略
2401_85761762的博客
07-06 675
Memcached是一个基于内存的分布式缓存系统，它通过减少对数据库的访问次数来提高应用程序的性能。它支持简单的数据存储和检索操作，并且是许多高流量网站的核心技术。
分布式系统—ELK日志分析系统概述及部署
最新发布
aran2002的博客
07-08 1506
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称，但是filebeat可以用来替代logstash的数据收集功能，比较轻量级。市面上也被称为Elastic Stack。2.ELK组件ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
【分布式系统】ELK 企业级日志分析系统
F12138X的博客
07-06 1085
纵使黑夜吞噬了一切，太阳还是可以重新回来
大数据学习资料-涵盖各方面
03-14
大数据学习资料-涵盖各方面

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值