184.Flume（一）：flume概念，flume安装，实时监控单个文件追加内容，监控目录下新增多个新文件，监控目录下多个文件追加内容

最新推荐文章于 2024-05-30 16:01:43 发布
最新推荐文章于 2024-05-30 16:01:43 发布
阅读量699 收藏 2
点赞数
分类专栏： 从头开始学编程 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40594696/article/details/127875592
版权

目录

一、概述

1.什么是Flume

2.Flume基础架构

3.官网地址

二、Flume入门

1.安装部署

2.案例一：Flume入门案例

3.案例二：实时监控单个文件追加内容

4.案例三：监控目录下新增多个新文件

5.案例四：监控目录下多个文件追加内容

一、概述

1.什么是Flume

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单

Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 

2.Flume基础架构

Agent：Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。

Agent = Source + Channel + Sink。 

  • Source：负责接收数据到 Flume Agent 的组件。
    • Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、taildir、sequenc
了解本专栏 订阅专栏 解锁全文 超级会员免费看
鹏哥哥啊Aaaa
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS
W2398439780的博客
11-08 774
注意core-site.xml中配置的NameNode地址，确保映射没有出错，端口号保持一致。确保hadoop集群已经启动。
实时监控单个追加文件
zty19940628的博客
05-19 248
# Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/module/datas/A.log a2.sources.r2.shell = /bin/bash -c # Describe the sink a2
flume的文件监视
LMY~~的博客
10-18 871
flume的文件监视 可以让你学到废
大数据技术之 Flume
骚戴的博客
03-21 1255
大数据技术之 Flume
Flume监听文件夹并上传到HDFS
这是饭多多的博客
05-11 523
监听/tools/flume文件夹，并上传到hdfs的flume目录下，且目录为当天的日期，并自定义监控文件前缀为：flu-
Flume6 实时监控目录下的多个追加文件
Auraros的博客
11-23 233
Flume6 实时监控目录下的多个追加文件 Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟比较高，不能实时监控；而Taildir Source既能实现断点续传，又可以保证数据不丢失，还能够进行实时监控。 案例需求 使用Flume监听整个目录实时追加文件，并上传至 HDFS 需求分析 实验步骤 建配置文件 flume-file-logger.conf 创建一个文件 [atguigu@hadoop1
Flume实时监控 单个追加文件
zhaoxiaoba123的博客
10-02 615
1)案例需求:实时监控 Hive 日志，并上传到 HDFS 中 2)需求分析: 3)实现步骤: 1.Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 拷贝到/opt/module/flume/lib 文件夹下。 2.创建 flume-file-hdfs.conf 文件 创建文件 注:要想读取 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令。由于 Hive 日志 在 Linux 系统中所以读取文件的类型选择:exec 即 execute 执行的意思。表示
Flume实时监控单个追加文件
qq_41458071的博客
06-18 209
# Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/module/datas/A.log a2.sources.r2.shell = /bin/bash -c # Describe the sink a2
08.flume采集配置案例--采集文件新增内容到HDFS.mp4
04-29
08.flume采集配置案例--采集文件新增内容到HDFS.mp4
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
04-01
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： ...
Flume+Kafka整合环境（监控目录+监控文件）实验作业参考
10-31
Flume+Kafka整合环境（监控目录+监控文件） 实验作业，仅供参考
Flume监控之Ganglia
01-07
Ganglia是UC Berkeley发起的一个开源集群监视可视化工具，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量...
07.flume采集配置案例--采集目录中的新文件到HDFS中--配置详解.mp4
04-29
07.flume采集配置案例--采集目录中的新文件到HDFS中--配置详解.mp4
Flume4 实时监控单个追加文件
Auraros的博客
11-23 192
Flume4 实时监控单个追加文件 需求 案例需求： 实时监控Hive日志，并上传到HDFS中 存在单点故障，因为如果agent故障后，可能会丢失数据 需求分析 实验步骤 第一个先提取日志数据输出到控制台 创建 file-flume-logger.conf 文件 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sour
Flume案例五：实时监控多个目录下多个追加文件(Taildir Source)
扛麻袋的少年的博客
06-24 1831
五、Flume案例五：实时监控多个目录下多个追加文件(Taildir Source)（选型：taildir source + memory channel + hdfs sink）
Flume经典案例之实时监控目录下的多个追加文件（保姆级教程）
wanjialin的博客
12-26 722
准备工作： 1、准备几个文件 2、提前建好文件夹用于存放文件 操作步骤： 1、创建配置文件taildirsource_loggersink.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=TAILDIR a1.sources.r1.positionFile = /opt/soft/flume190/tail_dir.json a1.sources.r1.filegroups = f1 f2 a1.sources
04 Flume入门案例之实时监控单个追加文件
阿伟的博客
10-07 269
案例需求： 实时监控 Hive 日志，并上传到 HDFS 中 需求分析： 实现步骤： 注意：Flume 要想将数据输出到 HDFS，依赖 Hadoop 相关 jar 包 ，确认 Hadoop 和 Java 环境变量配置正确 在job目录下创建 flume-file-hdfs.conf 文件 vim job/flume-file-hdfs.conf 注：要想读取 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令。由于 Hive 日志在 Linux 系统中所以读取.
Flume案例三：实时监控单个追加文件(tail -f 日志)到HDFS
扛麻袋的少年的博客
06-24 508
Flume案例三：实时监控单个追加文件(tail -f 日志)到HDFS（选型：exec source + memory channel + hdfs sink）
Flume部署、原理和使用介绍（超详细）
最新发布
weixin_43977307的博客
05-30 681
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。
window flume 监控文件追加
09-19
Window Flume 是 Apache Flume 项目的一个组件，用于实时监控文件的追加操作。它能够将文件追加的内容实时传输到指定目的地，可以灵活地用于日志收集等实时数据流处理场景。 Window Flume 的工作原理如下：首先，它会监控指定的文件夹，当有文件被追加内容时，Window Flume 将获取到新追加的内容。接下来，Window Flume 使用 TailDir Source 将文件追加的内容传递给 Flume Agent，Flume Agent 是 Flume 架构的一部分，负责接收、处理和传输数据。Flume Agent 接收到数据后，会通过 Channel（通道）将其暂存起来，再通过 Sink（汇聚器）将数据传输到指定的目的地。 Window Flume 的配置可以根据具体需求进行调整。可以设置监控的文件夹、文件名模式、字符集等；同时，可以指定 Flume Agent 的拓扑结构，如选择合适的 Channel 类型和 Sink 类型，以及设置对应的参数。通过调整配置，Window Flume 可以适应不同的文件监控和数据传输场景。 总之，Window Flume 是一个用于实时监控文件追加的工具，可灵活应用于日志收集等实时数据流处理中。它能够将追加的内容实时传输到指定目的地，方便用户对实时数据进行处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鹏哥哥啊Aaaa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值