《大数据： Flume 监控单个文件（Exec Source）》

最新推荐文章于 2022-03-24 20:15:43 发布
最新推荐文章于 2022-03-24 20:15:43 发布
阅读量264 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109176869
版权
【 大数据：上篇 】 专栏收录该内容
107 篇文章 35 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何使用Flume监控单个文件，如Hive日志，实现实时上传到HDFS。主要内容包括：1) 需要的Hadoop相关jar包；2) 使用ExecSource作为数据来源，如`tail -F [file]`；3) HDFSSink用于将事件写入HDFS，支持文件滚动和分桶；4) 使用memory channel；5) 配置文件编写及启动agent；6) 检查HDFS上的文件。注意配置文件中的一些关键参数，如timestamp相关header和文件类型设置。
摘要由CSDN通过智能技术生成

一、 Flume 监控单个文件

需求：实时监控一个本机文件如Hive日志，并上传到HDFS中

需求分析：

1. 将数据输出到HDFS，必须持有Hadoop相关jar包，将下面JAR包拷贝到 flume/lib 目录下

  • commons-configuration-1.6.jar
了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
专栏目录
订阅专栏
大数据管理与监控：Cloudera Manager：Flume数据收集与传输.docx
09-02
大数据管理与监控：Cloudera Manager：Flume数据收集与传输.docx
Flume经典案例之实时监控单个追加文件（保姆级教程）
wanjialin的博客
12-26 821
案例说明： 1、以日志的形式输出 2、输出到hdfs中 操作步骤： 一、以日志的形式输出 1、创建file-flume-logger.conf 内容如下： a2.sources=r1 a2.channels=c1 a2.sinks=k1 a2.sources.r1.type=exec a2.sources.r1.command=tail -f /opt/soft/flume160/conf/KB15conf/flumefile.log a2.channels.c1.type=memory a2.chan
大数据学习7之分布式日志收集框架Flume——Flume实战应用之监控一个文件实时采集新增的数据输出到控制台
level_Tiller的博客
04-04 342
监控一个文件实时采集新增的数据输出到控制台 Agent选型： exec source +memory channel + logger sink 文章目录监控一个文件实时采集新增的数据输出到控制台（1）在/home/hadoop/data目录下新建data.log文件（2）到$FLUME_HOME/conf目录下创建配置文件exec-memory-logger.conf（3）启动agent（4）通过往监控文件追加数据进行测试扩展：如果要监控一个文件实时采集新增的数据，做离线处理，应该输出到HDFS，可以使
flume exec source实时监控单个文件
weixin_46122692的博客
11-22 309
1、需求：实时监控Hive日志，并上传到HDFS中 2、需求分析： 3、创建flume agent配置文件flume-file-hdfs.conf文件 cd /data/flume/apache-flume vim job/flume-file-hdfs.conf 添加： # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source
2020/12/1 webpack 基础配置
web修理工
12-08 151
1.webpack 1.132 webpack hello.js hello.xx.js 01.开始都是 webpack index.js index.bundle.js 把 index.js 文件打包成 index.bundle.js 文件 02.配置 webpack.config.js 文件 打包webpack 即可 03.webpack 命令写入pack.json 文件里
Flume使用之监听单个文件内容
FlatTiger的博客
02-23 450
# 定义agent名字 a1 # 定义sources、channels、sinks 都可以有多个，空格隔开 a1.sources = r1 a1.channels = c1 a1.sinks = k1 # 设置source a1.sources.r1.type = exec # source要执行的命令 监控的文件 a1.sources.r1.command = tail -F /opt/module/flume/demo/test1.log # 设置channel a1.channels.c1.ty
华为大数据认证：Flume海量日志聚合.pptx
09-24
华为大数据认证,Flume组件介绍
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
大数据架构：flume-ng+Kafka+Storm+HDFS实时系统组合
02-25
本文来自于csdn,大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术...
Flume实战监听文件夹内文件变化
松门一枝花
03-23 9008
Flume官网有多种场景的source，sink，channel的配置 1、flume安装目录下新建文件夹 example  2、在example下新建文件  spooldir-logger.conf 内容如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe
【四】Flume使用：监控文件实时采集新增数据输出到控制台
Sid小杰的博客
07-13 8380
agent选择：exec source + memory channel + logger sinkexec source 运行一个给定的unix命令memory channel channel中的数据放在内存中logger sink 最终把采集到的数据打印到控制台上创建测试用的日志文件mkdir /app/flume/testDatacd /app/flume/testDatatouch tes...
Flume实战 监控一个文件实时采集新增的数据
fengfengchen95的博客
04-30 2900
Fulme的关键是写配置文件首先要确定Agent 的选型， exec source+ memory channel +logger sink配置：# Name the components on this agent a1.sources = r1 #a1代表agent名称，r1:数据源的名称 a1.sinks = k1 #k1 sink名称 a1.channels = c1 #c1 c...
【Flume】flume文件监控的source组件开发，增量传输文件内容，支持断点续传功能
三也_攻城狮
04-09 6763
基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨： https://github.com/cwtree/flume-filemonitor-source 望各位不吝指教！
flume 1.7 新接口，监控文件内容变化，且监控目录内新增文件变化
高矮
09-20 3072
1.7提供新的source    TAILDIR 解决了flume之前版本初始插件无法监控某一个文件内容变化的问题 #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=TAILDIR agent1...
Flume实战采集文件内容存入HDFS
松门一枝花
03-23 6803
1、flume安装目录下新建文件夹 example  2、在example下新建文件  log-hdfs.conf 内容如下： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #exec 指的是命令 # Describe/configure the source a1
04 Flume入门案例之实时监控单个追加文件
阿伟的博客
10-07 286
案例需求： 实时监控 Hive 日志，并上传到 HDFS 中 需求分析： 实现步骤： 注意：Flume 要想将数据输出到 HDFS，依赖 Hadoop 相关 jar 包 ，确认 Hadoop 和 Java 环境变量配置正确 在job目录下创建 flume-file-hdfs.conf 文件 vim job/flume-file-hdfs.conf 注：要想读取 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令。由于 Hive 日志在 Linux 系统中所以读取.
阿里easyexcel解析百万级大数据量的Excel表格，看这一篇文章就够了
跟着飞哥学编程（全栈联盟）
03-24 6721
线程池，easyExcel导入大数据量的Excel表格
Flume案例二：实时监控单个追加文件(tail -f 日志)(exec source)
扛麻袋的少年的博客
06-24 1380
Flume案例二：实时监控单个追加文件(tail -f 日志)（选型：exec source + memory channel + logger sink）
巴豆大数据：Flume日志收集系统详解与实战指南
作为一款分布式、可靠且弹性的工具，Flume 主要应用于将来自不同数据源的日志信息高效地从多种渠道如 Console、RPC、Text、Tail、Syslog、Exec 等收集起来，然后将这些数据进行简单的处理并写入集中式存储中心，如 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值