Flume第一章：环境安装

最新推荐文章于 2024-05-11 09:48:06 发布
最新推荐文章于 2024-05-11 09:48:06 发布
阅读量650 收藏 1
点赞数 1
分类专栏： flume 文章标签： flume 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50835854/article/details/128462456
版权

系列文章目录

Flume第一章：环境安装

文章目录

前言

之前由于学校考试，写博客就中断了，后来等学校基本考完了，准备休息两天继续学习，然后就阳性了，休息了差不多一个星期了，又赶上了学校实训，这篇博客，真的是命运多舛

一、Flume是什么？

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.
这是官方的原文。
Flume是一种分布式、可靠且可用的服务，用于高效地收集、聚合和移动大量日志数据。它具有基于流数据流的简单而灵活的架构。它具有可调的可靠性机制和许多故障切换和恢复机制，具有鲁棒性和容错性。它使用一个简单的可扩展数据模型，允许在线分析应用程序。
以上是百度翻译 看看就行了

简单来说
Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。

二、环境安装

1.文件下载

官方下载连接
由于下载服务器在国外，可能网速不太稳定，尽量在网络环境较好的情况下下载。
本实验使用flume1.9版本（本来是使用最新的1.11的后来发现兼容有问题，不能正常使用）

2.环境安装

为了实验方便，请在hive环境下安装。

  1. 上传文件
    在这里插入图片描述

  2. 解压并改名

tar -xvf apache-flume-1.9.0-bin.tar.gz -C /opt/module/
mv apache-flume-1.9.0-bin/ flume

在这里插入图片描述

flume 依靠java和hadoop所以需要提前配置相关环境，这个以前做过，就不做了。

  1. 删除guava
rm -rf /opt/module/flume/lib/guava-11.0.2.jar

到此flume的环境安装结束，此时可以抓一个快照留存。

3.官方案例

在 flume 目录下创建 job 文件夹并进入 job 文件夹,创建flume-netcat-logger.conf文件

在这里插入图片描述
并添加以下内容,此代码可以在官方文档中找到。

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

代码解析
在这里插入图片描述
开启服务器端。
以下两条命令二选一

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console


bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

在这里插入图片描述
启动成功。
再开一个终端，监听44444端口。

nc localhost 44444

在这里插入图片描述
随便写点内容，确认两边可以通信。

三、几个案例

1.实时监控 Hive 日志，并上传到 HDFS 中

创建 flume-file-hdfs.conf

# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2
# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log
# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop102:8020/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs- 
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

在这里插入图片描述

由于我们要将flume监控的日志上传到HDFS目录，所以要先启动hadoop，自行启动。
然后启动flume

bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

然后启动hive
在这里插入图片描述
现在可以查看hdfs，会发现根目录下多了一个flume文件。
在这里插入图片描述
进入即可查看日志，根据设定每30秒生成一个日志文件。
在这里插入图片描述
并且会生成tmp临时文件。
在这里插入图片描述

2.使用 Flume 监听整个目录的文件，并上传至 HDFS

创建flume-dir-hdfs.conf

a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = spooldir
a3.sources.r3.spoolDir = /opt/module/flume/upload
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp 结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://hadoop102:8020/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload- 
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

在这里插入图片描述

创建测试目录
在这里插入图片描述
启动flume

bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

然后随便写点测试数据扔到监控目录中，注意先写好后在移动进去，不能在检测目录里动态修改文件。
在这里插入图片描述
出现这个标志，代表这个文件已经到达集群,速度非常快。
在这里插入图片描述在这里插入图片描述

3.使用 Flume 监听整个目录的文件，并上传至 HDFS

创建配置文件 flume-taildir-hdfs.conf

a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = TAILDIR
a3.sources.r3.positionFile = /opt/module/flume/tail_dir.json
a3.sources.r3.filegroups = f1 f2
a3.sources.r3.filegroups.f1 = /opt/module/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /opt/module/flume/files2/.*log.*
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://hadoop102:8020/flume/upload2/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重新定义时间单位
a3.sinks.k3.hdfs.roundUnit = hour
#是否使用本地时间戳
a3.sinks.k3.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a3.sinks.k3.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a3.sinks.k3.hdfs.fileType = DataStream
#多久生成一个新的文件
a3.sinks.k3.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
a3.sinks.k3.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a3.sinks.k3.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

在这里插入图片描述

启动flume

bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-taildir-hdfs.conf

创建测试文件。
在这里插入图片描述
随便往里边写点数据，这次可动态修改。
在这里插入图片描述
在hdfs中查看
在这里插入图片描述
继续动态追加数据。
在这里插入图片描述
hdfs中会继续增加数据
在这里插入图片描述
等待文件上传结束后，继续查看。
在这里插入图片描述
另一个文件同理，不做示例了。

总结

flume也是hadoop生态中比较重要的一个核心组件，难度不是很高，但也要学习一下。

超哥--
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第10章 Flume组件安装配置.pdf
11-27
3. 实验环境： - 需要一个至少包含三个节点的服务器集群，确保所有节点之间网络畅通，每个节点的最低配置为双核 CPU、8GB 内存和 100GB 硬盘。 - 操作系统为 CentOS 7.4。 - 预先安装了 Hadoop 和 JDK，根据实验...
第10章 Flume组件安装配置.docx
11-27
通过这个实验，你将理解Flume如何在Linux环境中进行安装和配置，以及如何构建基本的数据流处理链路。随着对Flume的深入理解和实践，你可以在更复杂的大数据场景中运用它来收集、处理和传输数据。
Flume环境搭建及使用手册
qq_62485695的博客
03-12 2002
flume安装配置笔记
Flume环境搭建
遇安的博客
12-01 1151
本文详细的写有Flume环境搭建的详细步骤，并且测试了日志采集/监听
第1关：Flume安装与测试
最新发布
m0_74097078的博客
05-11 1204
配置Source,channel,sink名称。#配置source和sink绑定到channel。#配置channel。
【Flume】安装与测试
BIG BOSS的博客
10-22 744
1.下载安装包http://archive.apache.org/dist/flume/ 2.解压命令tar -zxvf 压缩包 -C 路径 3.配置环境变量 export FLUME_HOME=/opt/programs/apache-flume-1.6.0-bin export PATH=$PATH:$FLUME_HOME/bin source /etc/profile 4.在conf/目...
flume安装配置环境，及初体验
weixin_70816482的博客
11-17 1306
flume安装配置环境，及初体验
第一章大数据平台概述.pdf
11-25
【大数据平台概述】 大数据平台是应对现代信息化社会中海量数据挑战的关键工具，它整合了...通过集成各种组件，它构建了一个强大、灵活且安全的环境，支持从数据采集到分析的整个流程，为企业决策提供强大的数据支持。
Flume零基础应用实战企业全场景解决方案视频教程
10-21
第一章：企业级需求 1.大数据迁移及采集问题概述 2.分布式解决方案Flume 3.Flume运行原理及架构详解 第二章：Flume一站式快速部署方案 1.Flume企业级版本选型 2.Flume部署环境选型 3.Flume快速部署方案 ...
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Flume环境搭建和简介
jiandanbuguo的博客
12-04 1089
Flume环境搭建 前提准备 hadoop环境搭建完成 可参考：Centos7中安装配置Hadoop(伪分布式搭建) 安装包 apache-flume-1.6.0-bin.tar.gz ，需要自取：Flume安装包(提取码：6z6z) 搭建 将压缩包上传至/opt下 解压压缩包 tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz 修改名称 mv apache-flume-1.6.0-cdh5.14.0-bin/ flume160 修改配置 ①进入conf目录：cd /o
Flume的安装和测试
YueBanWa的博客
03-06 612
Flume的安装和测试 标签： flume流处理 2016-11-02 00:53 246人阅读 评论(0) 收藏 举报 本文章已收录于： 分类： kafka（8） 作者同类文章X 版权声明：本文为博主原创文章，未经博主允许不得转载。 Flume原理、安装和使用 1.flum
Flume安装及测试
Technology Share
02-20 454
一、简介        官网：Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data . It has a simple and flexible architecture
flume安装和环境部署，并测试flume监控文件成功
weixin_74606115的博客
10-13 457
安装flume以及配置conf文件里的要点概述，理解三种组件的用法
三十七、Flume的安装及测试
象在舞的技术专栏
12-26 2035
上一篇文章我们简单介绍了一下Flume这个框架，本文主要介绍一下Flume的安装及测试，最近这几篇博客内容相对简单一些。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 目录 一、Flume的安装 1.1下载Flume 1.2上传解压 1.3修改配置文件 二、Flume的测试 2.1环境准备 2.2创建配置文件 2.3开启端口、生产数据 2.3.1开启监听端口 2.3.2启动端口发送数据 一、Flume的安装 1.1下载Flume 首先我们需要去官网...
flume入门之一：flume 安装及测试
weixin_34294649的博客
11-27 161
http://flume.apache.org/ flume下载：http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz flume安装：tar apache-flume-1.7.0-bin.tar.gz 修改conf/flume-conf.properties.template文件名为flume-c...
第10章 Flume组件安装配置.pptx
11-28
第10章主要探讨的是Apache Flume，一个在大数据领域中广泛应用的日志收集、传输和处理工具。Flume由Cloudera开发，旨在提供高可用性和可靠性的解决方案，特别适合处理海量日志数据。本章的核心知识点包括： 1. **...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值