flume读取log日志文件存储到HDFS

最新推荐文章于 2023-12-24 12:33:57 发布
最新推荐文章于 2023-12-24 12:33:57 发布
阅读量4k 收藏 3
点赞数 1
分类专栏： 大数据 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chy2z/article/details/81188854
版权
本文档介绍了如何配置和使用Flume将日志文件从本地系统高效地传输到HDFS。首先，配置好Hadoop环境，然后搭建Flume环境，并在Flume的配置文件中设置HDFS的存储路径。接着，通过启动Flume来启动数据传输过程。同时，创建一个Java程序生成日志，并利用log4j进行日志配置。最后，观察Flume的执行结果并在HDFS上查看存储的日志数据。
摘要由CSDN通过智能技术生成

配置hadoop环境

配置flume环境

配置flume文件

D:\Soft\apache-flume-1.8.0-bin\conf 

将 flume-conf.properties.template 重新命名为  hdfs.properties

# 组装 agent
a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置source：从目录中读取文件
a1.sources.s1.type = spooldir
a1.sources.s1.channels = c1
a1.sources.s1.spoolDir = E:\log2s
# 包括所有日志文件
a1.sources.s1.includePattern=^.*$
# 忽略当前正在写入的日志文件
a1.sources.s1.ignorePattern=^.*log$
a1.sources.s1.deletePolicy=never
a1.sources.s1.fileHeader = true
## 增加时间header
a1.sources.s1.interceptors=i1
a1.sources.s1.interceptors.i1.type=timestamp

# 配置channel:缓存到文件中
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 1000

# 配置sink:保存到hdfs中
a1.sinks.k1.channel=c1
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://127.0.0.1:9000/flume/accesslog/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix=logs
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.batchSize=100
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.minBlockReplicas=1

flume启动命令

flume-ng agent --conf conf --conf-file ../conf/hdfs.properties --name a1

编写日志jav

最低0.47元/天 解锁文章
黑暗行动
关注
专栏目录
用Flume采集多台机器上的多种日志并存储于HDFS
11-06
我们的目标是通过配置Flume来将这些日志文件实时地收集并汇总到 C 机器上，然后再统一存储到 HDFS 中，以便进行后续的日志分析。最终的HDFS目录结构应如以下所示： - `/source/access/20160101/**` - `/source/...
Flume日志采集流程(log-＞kafka-＞hdfs)
Mogeko1的博客
03-24 1538
Flume日志采集流程(log->kafka->hdfs)
如何利用flume进行日志采集
EverythingAtOnce的博客
12-24 3514
Apache Flume 是一个分布式、可靠、高可用的日志收集、聚合和传输系统。它常用于将大量日志数据从不同的源（如Web服务器、应用程序、传感器等）收集到中心化的存储或数据处理系统中。Apache Flume 是一个强大的数据收集和传输工具，可以轻松地处理大量的数据流。使用本文提供的示例和概念，可以开始使用 Flume 并适应不同的数据采集和传输需求。本篇文章就介绍到这里，感兴趣的同学可以自己去深入研究，使用flume完成日志采集、关键字告警等一整套的业务。
flume收集日志的简单配置
madman
04-03 573
flume收集日志的形式 flume的三大组件source和channel，sink的分类和属性文档 flume三大组件文档 通过使用avro将多台机器的日志写入到一台机器，使用场景集群中的日志集中写到某一台，然后由某一台集中输入，减少每台机器的IO压力 角色： collect收集者 client 发送者 avro-collect.properties # in this case...
Flume各种采集日志方式与输出目录
热门推荐
彷徨的博客
10-16 1万+
1、从网络端口采集数据输出到控制台 下载与安装见：https://blog.csdn.net/weixin_35353187/article/details/83038297 一个简单的socket 到 console配置     # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source...
生产环境flume日志采集方案
wangwei_5201314的博客
04-16 9276
Flume简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。 名词介绍： Flume OG：Flume original generation,即Flume0.9x版本 Flume NG：Flume next gen...
flume+hdfs所需jar.rar
03-25
Flume 是 Apache 开源项目中的一个数据收集系统，它被设计用来高效地、可靠地从各种数据源收集、聚合和移动大量日志数据到集中式存储系统，如 HDFS（Hadoop Distributed File System）。在本压缩包“flume+hdfs所需...
flume log4f示例源码
09-08
Flume 的 SpoolDirectorySource 会持续监视 Log4j 输出的日志文件，一旦有新的文件产生，就会读取并将其发送到配置的 HDFS 目录。这样，你可以轻松地管理和分析大量的日志数据，尤其是在分布式环境中，Flume 提供了...
Flume + kafka + log4j构建日志采集系统
08-30
- 配置log4j.properties：在应用中配置log4j，指定日志级别、格式，并创建一个自定义Appender，该Appender与Flume agent通信，将日志发送到Flume。 **步骤3：搭建Kafka** - 安装和启动Kafka：安装Kafka集群，并...
Flume日志采集手册.docx
最新发布
07-24
其设计之初就是为了处理大规模的数据流，能够高效地从各种来源（如web服务器、应用程序等）收集日志数据，并将其传输到指定的目的地，如Hadoop的HDFS、HBase或其他的数据存储系统。 Flume的特点主要包括： - **...
Flume采集数据到HDFS
cz124560的博客
02-18 1462
Flume采集数据到HDFS 以CDH集群为例 flume版本： 新建配置文件： flumejob_hdfs.conf (这里我把配置文件放在了/etc/flume-ng下) # Name the components on this agent agent别名设置 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source 设置数据源监听本地文件配置 # exec 执行一个命令的方式去查看文件
大数据(9) - Flume的安装与使用
weixin_34245169的博客
09-14 103
Flume简介 --（实时抽取数据的工具） 1) Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Unix环境下运行。 2) Flume基于流式架构，容错性强，也很灵活简单。 3) Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。 Flume角色 1、Source ...
Flume 案例总结。
qq_32783151的博客
06-26 832
一、Flume 架构 二、Flume传输过程 source监控某个文件或数据流，数据源产生新的数据，拿到该数据后，将数据封装在一个Event中，并put到channel后commit提交，channel队列先进先出，sink去channel队列中拉取数据，然后写入到HDFS、kafka中。 三 ...
Flume的四个使用案例
SHZHJ2000的博客
02-24 197
一、Flume监听端口 　　1，在linux机器上下载telnet工具 　　　　yum search telnet 　　　　yumm install telnet.x86_64 　　2.编写flume的配置文件，并将文件复制到flume/conf文件夹下 #1.agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 ...
flume 对指定日志进行读取
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 836
本实验任务主要完成基于ubuntu环境使用flume对指定目录下的日志文件进行读取，通过完成本实验任务，要求学生了解并掌握flume对指定数据文件内容的获取，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握flume的应用原理   掌握flume对日志信息的采集过程本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对
Flume采集数据到HDFS时，文件出现乱码
Knight
02-17 1169
hdfs.fileType生成的文件类型，默认是Sequencefile DataStream，则为普通文本 解决方案 在hdfs sink加一行 a1.sinks.k1.hdfs.fileType = DataStream
flume+java应用_基于Flume+Log4j+Kafka的日志采集架构方案
weixin_29466045的博客
03-04 260
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。Flume 基本概念Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念：Source——日志来源，其中包括：Avro Source、Thrift Source、Exec Source、JMS...
数仓采集项目【05使用flume将日志文件收集到HDFS】
weixin_43923463的博客
06-11 1250
logger server – flume读数据 – kafka – flume – hdfs第一层flume：taildir source – memory channel（或者file channel） – kafka sink 【传统架构】【√】​ taildir source – kafka channel 【使用kafka channel】第二层flume：kafka source – memory channel（或者file channel） – hdfs sink 【传统架构】【√】
Flume采集数据到HDFS时，文件中有乱码
曾经是个DBA
08-09 6313
参数 hdfs.fileType     默认值 SequenceFile     参数描述 File format: currently SequenceFile, DataStream or CompressedStream (1)DataStream will not compress output file and please don’t
简述利用FLUME实时读取目录文件到HDFS的步骤。
06-01
利用FLUME实时读取目录文件到HDFS的步骤如下： 1. 首先需要在Flume的conf目录下创建一个新的配置文件，例如my_flume.conf。 2. 在my_flume.conf文件中，需要定义Flume的agent名称以及其它设置，比如数据源、数据目的地、数据处理管道等。例如： ``` # Define an agent named Agent1 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Define a memory channel called channel1 agent1.channels.channel1.type = memory # Define a source that reads files from a directory agent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /path/to/spool/directory # Define a sink that writes to HDFS agent1.sinks.sink1.type = hdfs agent1.sinks.sink1.hdfs.path = hdfs://localhost:9000/flume/events agent1.sinks.sink1.hdfs.filePrefix = events- agent1.sinks.sink1.hdfs.fileSuffix = .log agent1.sinks.sink1.hdfs.rollInterval = 3600 agent1.sinks.sink1.hdfs.rollSize = 0 agent1.sinks.sink1.hdfs.rollCount = 10000 # Bind the source and sink to the channel agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1 ``` 在这个配置文件中，我们定义了一个名为Agent1的Flume agent，它包含一个source、一个sink和一个channel。source定义了要读取的文件目录，sink定义了数据写入的HDFS路径和文件名的前缀、后缀等信息，而channel则定义了source和sink之间的数据传输通道。 3. 启动Flume agent。在命令行中输入以下命令： ``` bin/flume-ng agent --conf conf --conf-file my_flume.conf --name agent1 -Dflume.root.logger=INFO,console ``` 启动后，Flume将开始读取指定目录下的文件，并将其实时写入HDFS。 注意：在实际使用中，还需要根据具体情况对Flume的配置文件进行调整和优化，以满足实际需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值