Flume监听文件并上传到HDFS

最新推荐文章于 2023-06-07 07:53:56 发布
最新推荐文章于 2023-06-07 07:53:56 发布
阅读量292 收藏
点赞数
分类专栏： 大数据 文章标签： hdfs flume hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41907283/article/details/130623559
版权

Flume监听文件并上传到HDFS

监听任意一个文件，并将监控结果上传到hdfs的/flume目录下

1.编写配置文件

#me the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
# exec即execute执行命令
a1.sources.r1.type = exec
# 要执行的命令
a1.sources.r1.command = tail -F /root/flume_tail.log
# 执行shell脚本的绝对路径
a1.sources.r1.shell = /bin/bash -c
# Describe the sink<
最低0.47元/天 解锁文章
饭多多呀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS
W2398439780的博客
11-08 788
注意core-site.xml中配置的NameNode地址，确保映射没有出错，端口号保持一致。确保hadoop集群已经启动。
使用 Flume 监听整个目录的文件，并上传至 HDFS
W2398439780的博客
11-08 816
tmp 结尾的文件会被自动忽略，不会上传【配置文件中sources配置了相关的 ignorePattern】由于sources的type 指定的 spooldir ，上传完的文件会以 .COMPLETED 结尾。上传完成的文件会以.COMPLETED 结尾；注意core-site.xml中配置的NameNode地址，确保映射没有出错，端口号保持一致。
Flume监听文件夹并上传到HDFS
这是饭多多的博客
05-11 557
监听/tools/flume文件夹，并上传到hdfs的flume目录下，且目录为当天的日期，并自定义监控文件前缀为：flu-
Flume监听文件并上传到hdfs
元气满满的小白
03-11 1762
目标 监听hive日志，并上传到hdfs中/flume/[YYMMDDHH]/目录下，文件前缀为logs-，每一个小时新建重新创建一个文件夹，每接收10M数据落地一次，当数据不足10M时15分钟落地一次 导入相关依赖jar包 导入以下jar包到flume路径下的lib里，{}里为相应版本，在hadoop路径下share/hadoop下都能找到，我就添加了一个剩下的在flume/lib下都已经...
flume 入门 使用 Flume 监听整个目录的文件，并上传至 HDFS（三）
weixin_43205308的博客
05-15 397
案例需求：使用 Flume 监听整个目录的文件，并上传至 HDFS。
Flume采集Rabbitmq数据同步到HDFS
05-30
在这个场景中，我们将探讨如何使用Flume从RabbitMQ消息队列中采集数据，并同步到HDFS。 RabbitMQ是一个开源的消息代理和队列服务器，广泛应用于各种分布式系统中，提供可靠的数据交换机制。它允许生产者发送消息，...
flime安装+配置+测试+案例（采集日志至HDFS）
04-15
在本文中，我们将深入探讨 Flume 的安装、配置、测试以及如何将其应用于实际案例，即从不同节点采集日志并存储到 HDFS。 首先，我们从安装 Flume 开始。Flume 的安装包括解压安装包，重命名 Flume 目录，配置 `...
flume配置文件案例
09-27
flume配置文件，文件配了说明，可以拿下来改一改就用。 可以获取端口数据监听或者文件、文件夹内容监听，实时写入hdfs、mysql或者你需要的路径。
flume配置文件demo
11-06
在大数据处理中，Flume 起到了关键的作用，它能够帮助用户从各种数据源（如网络套接字、日志文件、Avro 数据等）收集数据，然后将这些数据传输到目的地，如 HDFS（Hadoop 分布式文件系统）、HBase 或其他存储系统。...
用Flume采集多台机器上的多种日志并存储于HDFS
11-06
用Flume采集多台机器上的多种日志并存储于HDFS, 在集群上使用flume收集多台机器的日志集中到hdfs上，作后面的日志分析
Flume监测爬虫文件夹内容并上传到HDFS
m0_52940881的博客
12-23 944
前面文章提到的爬虫程序编写完成后，在虚拟机上使用python3 ****.py运行，程序中的文件输出路径为/export/nocv_data。这里还采取了负载均衡的策略，也就是我们规定一个组（这里三台），组内一台监测文件夹并将数据包装成事件送出，由另外两台虚拟机上传到hdfs中。另外为了防止数据过多对本地文件占用等问题，我们需要设置deletePolicy参数，将文件采集之后即删除。启动顺序是，先第二级后第一级。之后我们启动flume后，运行爬虫程序，这样就可以实现flume试试上传数据到hdfs上。
大数据技术之Flume（实时读取本地文件到HDFS）
愿景.青城雪
09-05 522
1：创建flume-hdfs.conf文件 #1 agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 #2 source a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/plus(文件) a2.sources.r2.shell = /bin/bash -c #3 si...
轻松入门大数据 第13章 进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS
最新发布
谢谢你们的关注
06-07 194
轻松入门大数据 第13章 进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS
flume监听数据并上传到HDFS上
m0_60431736的博客
09-21 1229
flume监听数据到hdfs
flume监听文件
QingHuanWu的博客
05-17 297
a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the sources # exec即execute执行命令 a1.sources.r1.type = exec # 要执行的命令。对应自己的路径修改 a1.sources.r1.command = tail -F /opt/hadoop-2.7.7/logs/hadoop-root-namenode-host-192-168-3-73.log # 执行shell脚本的绝
Flume经典案例之实时监控多个新文件（保姆级教程）
wanjialin的博客
12-26 819
准备工作： 1、准备多个大文件，以备后面使用 2、提前创建好目录和文件上传至linux中 操作步骤： 1、首先先将我们要操作的文件拷贝到指定的文件夹下，方便一会使用命令和写配置文件 命令cp events.csv flumelogfile/events/events_2021-12-26.csv 2、创建events-flume-logger.conf 内容如下： events.sources=eventsSource events.channels=eventsChannel events.sinks=e
Flume
weixin_32229529的博客
05-05 264
1.1 Flume定义 Flume是Cloudera（云纪元（公司名））提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume，实时读取本地磁盘的数据==》flume是步署在日志产生的位置，本地磁盘 ， 1.2 Flume基础架构 Flume组成架构如图1-1所示： 图1-1 Flume组成架构 source收集采集数据==》chann...
Flume经典案例之实时监控单个追加文件（保姆级教程）
wanjialin的博客
12-26 789
案例说明： 1、以日志的形式输出 2、输出到hdfs中 操作步骤： 一、以日志的形式输出 1、创建file-flume-logger.conf 内容如下： a2.sources=r1 a2.channels=c1 a2.sinks=k1 a2.sources.r1.type=exec a2.sources.r1.command=tail -f /opt/soft/flume160/conf/KB15conf/flumefile.log a2.channels.c1.type=memory a2.chan
flume监听服务器文件,flume 监控服务器状态
weixin_30741285的博客
08-09 365
flume 监控服务器状态 内容精选换一换华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。flume 监控服务器状态 相关内容华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。本节定义了裸金属服务器上报...
flume监听文件写入hdfs，并且将文件中的,修改为|
05-25
可以通过Flume的Spooling Directory Source来实现这个功能。Spooling Directory Source会监控一个指定的目录，当有新的文件被写入时，就会将文件内容作为事件传递给Flume的Channel。然后再通过Flume的Interceptor将文件中的逗号修改为竖杠，并存储到HDFS中。 具体的配置如下： 1. 在Flume的配置文件中添加一个Spooling Directory Source： ``` # define the Spooling Directory Source agent.sources = spoolDir agent.sources.spoolDir.type = spooldir agent.sources.spoolDir.spoolDir = /path/to/spool/directory agent.sources.spoolDir.fileHeader = true agent.sources.spoolDir.fileSuffix = .COMPLETED ``` 2. 添加一个Interceptor来修改文件内容 ``` # define the Interceptor to modify the file content agent.sources.spoolDir.interceptors = interceptor1 agent.sources.spoolDir.interceptors.interceptor1.type = regex_replace agent.sources.spoolDir.interceptors.interceptor1.regex = , agent.sources.spoolDir.interceptors.interceptor1.replaceString = | ``` 3. 添加一个HDFS Sink ``` # define the HDFS Sink agent.sinks = hdfsSink agent.sinks.hdfsSink.type = hdfs agent.sinks.hdfsSink.hdfs.path = /path/to/hdfs/directory agent.sinks.hdfsSink.hdfs.fileType = DataStream agent.sinks.hdfsSink.hdfs.rollInterval = 0 ``` 最后将Spooling Directory Source和HDFS Sink连接起来： ``` # connect the Source and Sink agent.sources.spoolDir.channels = memoryChannel agent.sinks.hdfsSink.channel = memoryChannel ``` 这样配置后，Flume就会监听指定的目录，当有新文件写入时，将文件内容作为事件传递给内存Channel。Interceptor会修改文件内容，然后将修改后的事件存储到HDFS中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值