flume读取log日志文件存储到HDFS

最新推荐文章于 2023-12-15 17:39:52 发布
最新推荐文章于 2023-12-15 17:39:52 发布
阅读量4k 收藏 3
点赞数 1
分类专栏： 大数据 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chy2z/article/details/81188854
版权
本文档介绍了如何配置和使用Flume将日志文件从本地系统高效地传输到HDFS。首先，配置好Hadoop环境，然后搭建Flume环境，并在Flume的配置文件中设置HDFS的存储路径。接着，通过启动Flume来启动数据传输过程。同时，创建一个Java程序生成日志，并利用log4j进行日志配置。最后，观察Flume的执行结果并在HDFS上查看存储的日志数据。
摘要由CSDN通过智能技术生成

配置hadoop环境

配置flume环境

配置flume文件

D:\Soft\apache-flume-1.8.0-bin\conf 

将 flume-conf.properties.template 重新命名为  hdfs.properties

# 组装 agent
a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置source：从目录中读取文件
a1.sources.s1.type = spooldir
a1.sources.s1.channels = c1
a1.sources.s1.spoolDir = E:\log2s
# 包括所有日志文件
a1.sources.s1.includePattern=^.*$
# 忽略当前正在写入的日志文件
a1.sources.s1.ignorePattern=^.*log$
a1.sources.s1.deletePolicy=never
a1.sources.s1.fileHeader = true
## 增加时间header
a1.sources.s1.interceptors=i1
a1.sources.s1.interceptors.i1.type=timestamp

# 配置channel:缓存到文件中
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 1000

# 配置sink:保存到hdfs中
a1.sinks.k1.channel=c1
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://127.0.0.1:9000/flume/accesslog/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix=logs
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.batchSize=100
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.minBlockReplicas=1

flume启动命令

flume-ng agent --conf conf --conf-file ../conf/hdfs.properties --name a1

编写日志jav

最低0.47元/天 解锁文章
黑暗行动
关注
专栏目录
flume采集日志信息到hdfs
**My Coding Family**
09-05 1072
如上问题有的来自我自身项目开发，有的收集网站，有的来自读者…如有侵权，立马删除。再者，针对此专栏中部分问题及其问题的解答思路或步骤等，存在少部分搜集于全网社区及人工智能问答等渠道，若最后实在是没能帮助到你，还望见谅！并非所有的解答都能解决每个人的问题，在此希望屏幕前的你能够给予宝贵的理解，而不是立刻指责或者抱怨！如果你有更优解，那建议你出教程写方案，一同学习！共同进步。ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏。
flume 对指定日志进行读取
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 849
本实验任务主要完成基于ubuntu环境使用flume对指定目录下的日志文件进行读取，通过完成本实验任务，要求学生了解并掌握flume对指定数据文件内容的获取，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握flume的应用原理   掌握flume对日志信息的采集过程本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对
Flume 读取实时更新的日志文件
化繁为简：为先，为专，为强
02-24 6494
1. 日志文件每天roate一个新文件  a)  方案一 There is no way the tail command itself can automatically switch to the new file with a different name when the date changes. Thus, you have to kill the old tail and
flume获取mysql日志到hdfs_flume读取日志文件并存储到HDFS
weixin_39861918的博客
02-03 236
配置hadoop环境配置flume环境配置flume文件D:\Soft\apache-flume-1.8.0-bin\conf将 flume-conf.properties.template 重新命名为 hdfs.properties# 组装 agenta1.sources = s1a1.channels = c1a1.sinks = k1# 配置source：从目录中读取文件a1.source...
简单配置flume读取日志文件写到HDFS
Nick
05-22 1534
集群配置 三个节点：server1, server2, server3 场景 server1 和 server2 有生成日志，flume 从 server1 和 server2 采集日志，flume 在 server3 收集日志并写入到 HDFS 安装 flume 首先在 flume 官网下载安装包 https://flume.apache.org/download.html 上传到 serve...
flume+kafka读取日志文件
hengHuo123456的博客
09-28 554
http://blog.csdn.net/huguoping830623/article/details/48138319
数仓采集项目【05使用flume将日志文件收集到HDFS】
weixin_43923463的博客
06-11 1303
logger server – flume读数据 – kafka – flume – hdfs第一层flume：taildir source – memory channel（或者file channel） – kafka sink 【传统架构】【√】​ taildir source – kafka channel 【使用kafka channel】第二层flume：kafka source – memory channel（或者file channel） – hdfs sink 【传统架构】【√】
flume 搭建 实时读取本地文件到HDFS
qq_50285389的博客
07-12 500
本章以Hadoop1.6.0为例： 1、解压 apache-flume-1.6.0-bin.tar.gz 至 /usr/local/src 并改名为flume-1.6.0（根据自己喜好） tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src # 进入/usr/local/src目录 mv apache-flume-1.6.0-bin.tar.gz /usr/local/src/flume-1.6.0 2、修改/usr/local/src
Flume采集HDFS audit log日志至HDFS
Deegue
05-19 1774
1、背景 HDFS的audit log产生数据量很大，速度也很快，在机器系统盘上必须立即持久化到HDFS，否则数据会被覆盖或者磁盘会打满。 用于数据治理-HDFS废弃文件、Hive废弃表检测与清理。 2、实现 ① Apache Flume官网下载最新版本的Flume。 ② 配置audit_log_hdfs.conf # 一个channel一个source 配置3个sink a1.sources = r1 a1.sinks = k1 k2 k3 a1.channels = c1 # 数据来源，给c1配置s
5.Flume实时监控读取日志数据，存储hdfs文件系统
百年一梦
05-03 3164
实时监控读取日志数据，存储hdfs文件系统,Hive 日志
Flume + kafka + log4j构建日志采集系统
08-30
Flume + kafka + log4j构建日志采集系统，附实例及文档。
日志采集工具之Flume实操-上
xiaoleilei666的博客
07-11 1596
主要讲述使用flume工具采集日志；
Flume大数据日志拉取
weixin_46074059的博客
12-11 641
Flume Flume简介 Flume概述 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据 同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume使用场景 线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统 Flume的体系架构 比较核心的组件 Client：Client生产数据，运行在一个独立的线程。 Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记
Apache Flume（4）：日志文件监控
最新发布
u013938578的博客
12-15 927
企业中应用程序部署后会将日志写入到文件中，可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。但是以上方法有重复消费的问题，每次启动都会全量读取log文件里的全部数据，下面我们解决重复消费问题。Exec Source通过指定命令监控文件的变化，加粗属性为必须设置的。可以查看agent控制台接收到了最新的日志。添加配置文件exec-log.conf。
模拟客户端将数据flume存储在hdfs上
慧子的博客
11-15 520
1.首先，需要在机器上安装flume工具 2.安装flume： 在文件夹 cd /usr/hdp/2.4.0.0-169/下创建flume文件目录 tar zxvf apache-flume-1.6.0-bin.tar.gz mv apache-flume-1.6.0-bin flume 进入到flume文件的conf文件夹下边cd conf 3.在con
Flume监听log文件
qq_40961654的博客
12-02 342
Flume 监听log文件 vim exec-memory-avro.conf exec-memory-avro.sources = exec-memory-source exec-memory-avro.sinks = exec-memory-sink exec-memory-avro.channels = exec-memory-channel exec-memory-avro.sourc...
Flume收集log到HDFS（雏形）
呼呼的小窝
07-22 1793
Flume系列文章： Flume 概述 & 架构 & 组件介绍 Flume 使用入门 & 入门Demo 在本篇文章中，将继续介绍Flume的使用 Flume的使用场景 监控某个文件，并把新增的内容输出到HDFS(这是离线处理的典型的一个场景) Agent的技术选型，该如何选择？在这里我们的选择如下： exec source memory channel ...
Flume：把log文件写入HDFS
天天
04-22 451
选择Source 这里有两个选择： exec Source Spooling Directory Source 如果使用exec的方式，因为log文件分割，可能存在跳过部分log文件，导致数据被忽略。 所以选择第二种，spooldir的方式 选择Channel memory channel 选择Sink 因为需要写入hdfs，选择hdfs sink conf文件配置 #定义agent 为：agent #定义sources 为：s1 #定义channels 为：c1 #定义sinks 为：k1 ag
简述利用FLUME实时读取目录文件到HDFS的步骤。
06-01
利用FLUME实时读取目录文件到HDFS的步骤如下： 1. 首先需要在Flume的conf目录下创建一个新的配置文件，例如my_flume.conf。 2. 在my_flume.conf文件中，需要定义Flume的agent名称以及其它设置，比如数据源、数据目的地、数据处理管道等。例如： ``` # Define an agent named Agent1 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Define a memory channel called channel1 agent1.channels.channel1.type = memory # Define a source that reads files from a directory agent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /path/to/spool/directory # Define a sink that writes to HDFS agent1.sinks.sink1.type = hdfs agent1.sinks.sink1.hdfs.path = hdfs://localhost:9000/flume/events agent1.sinks.sink1.hdfs.filePrefix = events- agent1.sinks.sink1.hdfs.fileSuffix = .log agent1.sinks.sink1.hdfs.rollInterval = 3600 agent1.sinks.sink1.hdfs.rollSize = 0 agent1.sinks.sink1.hdfs.rollCount = 10000 # Bind the source and sink to the channel agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1 ``` 在这个配置文件中，我们定义了一个名为Agent1的Flume agent，它包含一个source、一个sink和一个channel。source定义了要读取的文件目录，sink定义了数据写入的HDFS路径和文件名的前缀、后缀等信息，而channel则定义了source和sink之间的数据传输通道。 3. 启动Flume agent。在命令行中输入以下命令： ``` bin/flume-ng agent --conf conf --conf-file my_flume.conf --name agent1 -Dflume.root.logger=INFO,console ``` 启动后，Flume将开始读取指定目录下的文件，并将其实时写入HDFS。 注意：在实际使用中，还需要根据具体情况对Flume的配置文件进行调整和优化，以满足实际需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值