Flume的安装部署及常见问题解决

最新推荐文章于 2024-07-16 18:55:10 发布
最新推荐文章于 2024-07-16 18:55:10 发布
阅读量1k 收藏
点赞数
分类专栏： flume 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52606060/article/details/134473785
版权

在这里插入图片描述

1.安装地址

（1） Flume官网地址：http://flume.apache.org/
（2）文档查看地址：http://flume.apache.org/FlumeUserGuide.html
（3）下载地址：http://archive.apache.org/dist/flume/

2.安装部署

注意：前提是配置好java环境

（1）将apache-flume-1.10.1-bin.tar.gz上传到linux的/opt/package/目录下
在这里插入图片描述
（2）解压apache-flume-1.10.1-bin.tar.gz到/opt/software/目录下

[zhangflink@9wmwtivvjuibcd2e package]$ tar -zxvf apache-flume-1.10.1-bin.tar.gz -C /opt/software/

（3）修改apache-flume-1.10.1-bin的名称为flume

[zhangflink@9wmwtivvjuibcd2e software]$ mv apache-flume-1.10.1-bin/ flume

（4）修改conf目录下的log4j2.xml配置文件，配置日志文件路径

修改日志路径

<Property name="LOG_DIR">/opt/module/flume/log</Property>

在这里插入图片描述

 <AppenderRef ref="Console" />

在这里插入图片描述

编写配置文件

官网翻译成中文的网站，可以参考这个网站进行编写配置文件：https://flume.liyifeng.org/

在这里插入图片描述

（1）.Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。
Agent 主要有三个组成部分，Source、Channel、Sink。
（2）.第一步：配置各个组件,根据你采集数据的需求进行选择对应的source，channels，sinks组件(直接去参考官网对应的组件功能选择即可）。
（3）.第二步：连接各个组件，把采集端（Flume Sources），中间缓存（Flume Channels）和写入端（Flume Sinks）连接到一起。
（4）.第三步：启动Agent。
bin目录下的flume-ng是Flume的启动脚本，启动时需要指定Agent的名字、配置文件的目录和配置文件的名称。

bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template

-n后面就是agent的主节点，-f 后面就是配置文件的位置，其它不变。

常用案例

监听端口配置：

# example.conf: 一个单节点的 Flume 实例配置

# 配置Agent a1各个组件的名称

#Agent a1 的source有一个，叫做r1
a1.sources = r1    
#Agent a1 的sink也有一个，叫做k1
a1.sinks = k1      
#Agent a1 的channel有一个，叫做c1
a1.channels = c1   

# 配置Agent a1的source r1的属性
#使用的是NetCat TCP Source，这里配的是别名，Flume内置的一些组件都是有别名的，没有别名填全限定类名
a1.sources.r1.type = netcat       
#NetCat TCP Source监听的hostname，这个是本机
a1.sources.r1.bind = localhost    
#监听的端口
a1.sources.r1.port = 44444        

# 配置Agent a1的sink k1的属性

# sink使用的是Logger Sink，这个配的也是别名
a1.sinks.k1.type = logger         

# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的

#channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据
a1.channels.c1.type = memory                
#内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多
a1.channels.c1.capacity = 1000              
#source和sink从内存channel每次事务传输的event数量
a1.channels.c1.transactionCapacity = 100    

# 把source和sink绑定到channel上

#与source r1绑定的channel有一个，叫做c1
a1.sources.r1.channels = c1       
#与sink k1绑定的channel有一个，叫做c1
a1.sinks.k1.channel = c1

启动agent

 bin/flume-ng agent -n a1 -c conf -f conf/example.conf

在这里插入图片描述

监听文件写入HDFS里面

# file_chanel_hdfs.conf: 一个监听文件数据写入hdfs的实例配置

# 配置Agent a1各个组件的名称

#Agent a1 的source有一个，叫做r1
a1.sources = r1    
#Agent a1 的sink也有一个，叫做k1
a1.sinks = k1      
#Agent a1 的channel有一个，叫做c1
a1.channels = c1   

#监听文件的source，这个source支持断点续传可靠性更高
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/software/flume/text_log/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/software/flume/text_log/example.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /opt/software/flume/text_log/.*log.*
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000

# 配置Agent a1的sink k1的属性

#写入HDFS的sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://10.0.3.141:8020/flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.timeZone = Asia/Shanghai


# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的

#channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据
a1.channels.c1.type = memory                
#内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多
a1.channels.c1.capacity = 1000              
#source和sink从内存channel每次事务传输的event数量
a1.channels.c1.transactionCapacity = 100    



# 把source和sink绑定到channel上

#与source r1绑定的channel有一个，叫做c1
a1.sources.r1.channels = c1       
#与sink k1绑定的channel有一个，叫做c1
a1.sinks.k1.channel = c1

启动后可能遇到的问题及解决方法

在这里插入图片描述

原因是普通用户没有创建文件的权限，使用root权限启动即可

sudo bin/flume-ng agent -c conf -n a1 -f conf/file_chanel_hdfs.conf

在这里插入图片描述

原因是因为写入到hfds时使用到了时间戳来区分目录结构，flume的消息组件event在接受到之后在header中没有发现时间戳参数，导致该错误发生，有三种方法可以解决这个错误；
1、agent1.sources.source1.interceptors = t1
agent1.sources.source1.interceptors.t1.type = timestamp
为source添加拦截，每条event头中加入时间戳；（效率会慢一些）
2、agent1.sinks.sink1.hdfs.useLocalTimeStamp = true 为sink指定该参数为true
（如果客户端和flume集群时间不一致数据时间会不准确）
3、在向source发送event时，将时间戳参数添加到event的header中即可，header是一个map，添加时mapkey为timestamp(推荐使用)

我使用了第二种方法(如果实时链路中，一般数据中都会带有时间戳，要使用第一种方法，保证时间语义的准确性）。

在这里插入图片描述
在这里插入图片描述

遇到这个错误是sink配置语句中创建hdfs的路径报错

要和hadoop里面的core-site.xml 文件保持一致

<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://flinkv1:8020</value>
</property>

在这里插入图片描述
此问题是由于操作hdfs的文件权限不足，修改hdfs文件权限即可。

[zhangflink@9wmwtivvjuibcd2e flume]$ hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - zhangflink supergroup          0 2023-11-19 11:04 /flume
[zhangflink@9wmwtivvjuibcd2e flume]$ hdfs dfs -chmod 777 /flume
[zhangflink@9wmwtivvjuibcd2e flume]$ hdfs dfs -ls /
Found 1 items
drwxrwxrwx   - zhangflink supergroup          0 2023-11-19 11:04 /flume

启动成功数据写入

在这里插入图片描述
在这里插入图片描述

监听文件写入kafka里面

首先创建kafka的topic

[zhangflink@9wmwtivvjuibcd2e kafka]$ bin/kafka-topics.sh --bootstrap-server flinkv1:9092 --create --partitions 1 --replication-factor 3 --topic flumeData

编写配置文件：

# file_memory_kafka.conf: 一个监听文件数据写入hdfs的实例配置

# 配置Agent a1各个组件的名称

#Agent a1 的source有一个，叫做r1
a1.sources = r1    
#Agent a1 的sink也有一个，叫做k1
a1.sinks = k1      
#Agent a1 的channel有一个，叫做c1
a1.channels = c1   

#监听文件的source，这个source支持断点续传可靠性更高
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/software/flume/text_log/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/software/flume/text_log/example.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /opt/software/flume/text_log/.*log.*
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000

# 配置Agent a1的sink k1的属性

#写入kafka的sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = flumeData
a1.sinks.k1.kafka.bootstrap.servers = localhost:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1


# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的

#channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据
a1.channels.c1.type = memory                
#内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多
a1.channels.c1.capacity = 1000              
#source和sink从内存channel每次事务传输的event数量
a1.channels.c1.transactionCapacity = 100    

# 把source和sink绑定到channel上

#与source r1绑定的channel有一个，叫做c1
a1.sources.r1.channels = c1       
#与sink k1绑定的channel有一个，叫做c1
a1.sinks.k1.channel = c1

消费对应topic测试数据是否写入

[zhangflink@9wmwtivvjuibcd2e kafka]$ bin/kafka-console-consumer.sh --bootstrap-server flinkv1:9092 --from-beginning --topic flumeData

监听成功
在这里插入图片描述

Appreciate(欣赏)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume纯配置文件初步入门
BWM的博客
11-12 294
此博客仅针对flume当中conf配置文件首先我们来了解一下flumesource的配置功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导...
Flume环境部署和配置详解及案例大全1
08-03
Flume 的设计目标是实现分布式、可靠且高可用的解决方案，它允许用户自定义数据发送源（Sources），并将收集到的数据进行简单处理，然后发送到各种数据接收端，如HDFS（Hadoop Distributed File System）、HBase等。...
Flume常见问题
weixin_44318460的博客
10-09 915
Flume常见问题
Flume安装部署
qq_56520755的博客
05-08 563
Flume安装部署
Flume启动报错，说系统找不到指定文件
weixin_64542139的博客
03-27 1651
Flume 日志文件路径不正确：如果在 Flume 启动时指定了日志文件路径，但该路径不正确，你将会看到这个错误。请检查日志文件路径是否正确，并确保在启动 Flume 时指定了正确的日志文件路径。Flume 配置文件路径不正确：请检查你的 Flume 配置文件路径是否正确，并确保在启动 Flume 时指定了正确的配置文件路径。缺少必要的库文件：如果你的系统缺少必要的库文件，Flume 启动时也可能会报错。请检查你的系统是否安装了所有必要的库文件，并确保它们已正确配置。
flume中conf的配置
打我长痘痘
06-04 1972
flume 中conf的配置参数
flume环境配置-传输Hadoop日志（namenode或datanode日志）
dafsq的博客
06-16 5068
flume环境配置-传输Hadoop日志（namenode或datanode日志）
Flume1.5.0入门：安装、部署、及flume的案例
11-18
Apache Flume 是一个强大的、分布式的日志聚合工具，特别适用于大数据环境中的日志收集。...通过灵活的配置和丰富的组件选择，Flume 能够有效地处理大规模的日志数据，提供可靠的数据流动和存储解决方案。
lamp安装配置及flume+Kafka+Storm+HDFS实时系统搭分享
05-19
在这个过程中，文档《Twitter Storm系列》flume-ng+Kafka+Storm+HDFS 实时系统搭建.docx和《安装扎记.pdf》将提供详细的步骤指导和常见问题解决方案，帮助你顺利完成整个系统的搭建和优化。 总的来说，LNMP与实时大...
CHD3安装部署手册
01-10
《CHD3安装部署手册》是一份详细的指南，旨在帮助用户成功部署Hadoop的CDH3版本。CDH，即Cloudera Distribution Including Apache Hadoop，是Cloudera公司提供的一个开源Hadoop发行版，包含了多种大数据处理和分析...
第10章 Flume组件安装配置.pptx
11-28
5. **Flume的安装与部署** 安装Flume通常包括下载Flume的二进制包，解压缩后配置环境变量，修改`flume.conf`文件以适应具体的需求，最后启动Flume服务。 6. **扩展与定制** Flume具有良好的扩展性，允许开发者...
flume安装及使用
weixin_41083358的博客
09-07 501
flume安装及使用
flume
weixin_53788274的博客
05-26 232
将文件用flume写入hdfs上： 开启hdfs–编写conf文件—新建文件夹（源文件文件夹，checkpoint文件夹，data文件夹，hdfs上的目标文件夹）—将源文件导入文件夹内–执行 <!--定义flume的三个组件：source,channel,sink--> locale.sources=localeSource locale.channels=localeChannel locale.sinks=localeSink <!--设置source的属性：类型，地址，姓名匹配，序
大数据flume1.9部署实战
hu10131013的博客
06-14 892
大数据flume1.9部署实战
Flume conf文件
Scapel的博客
11-15 779
Flume官网的Source介绍 spooldir This source will watch the specified directory for new files, and will parse events out of new files as they appear. After a given file has been fully read into the channe...
【大数据】Flume-1.10.0/1.9.0安装➕入门案例
YG15165的博客
09-30 735
大数据解决的无非是海量数据的采集、存储、计算，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。flume能保证数据的可靠性，但不能保证数据的重复性Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS✍出bug多看看flume目录下的flume`.log文件查看错误信息，问问al轻松解决！👇罪魁祸首（-f）！✍下一节，flume事务！
Flume框架
weixin_43956381的博客
12-26 461
第1章 Flume概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume基础架构 Flume组成架构如图1-1所示： 下面我们来详细介绍一下Flume架构中的组件： 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要...
flume的安装和使用
Jadoop的博客
04-16 537
flume的安装及配置 flume概述: Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFShbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用...
Apache Flume
最新发布
2301_77836489的博客
07-16 296
Apache Flume
Flume1.8安装部署
04-23
本文将重点介绍Flume1.8的安装部署，包括下载地址、安装环境工具下载地址、单个Flume安装、多个Flume安装及HA、应用场景以及Flume-Ng组件概述。 首先，为了安装Flume1.8，我们需要进行一些准备工作。我们可以从...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值