flume监控每天按日期滚动的日志文件

最新推荐文章于 2022-01-09 15:48:36 发布
最新推荐文章于 2022-01-09 15:48:36 发布
阅读量969 收藏
点赞数 1
分类专栏： 数据仓库技术体系
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenshijie2011/article/details/106895519
版权
本文介绍如何利用Flume工具监控每天按日期滚动的日志文件，并通过配置文件conf/log2hdfs.conf来实现数据流向管理，启动Flume agent1进行日志收集并传输到HDFS。
摘要由CSDN通过智能技术生成

bin/flume-ng agent -c conf -f conf/log2hdfs.conf -n agent1

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# Describe/configure tail -F source1
agent1.sources.source1.type = exec
agent1.sources.source1.shell = /bin/bash -c
agent1.sources.source1.command = tail -n +0 -F "/home/zhili_http_datainput/http-datainput/bin/logs/http-datainput.log.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
科学的N次方
关注
专栏目录
订阅专栏
flume 对指定日志进行读取
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 842
本实验任务主要完成基于ubuntu环境使用flume对指定目录下的日志文件进行读取，通过完成本实验任务，要求学生了解并掌握flume对指定数据文件内容的获取，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握flume的应用原理   掌握flume对日志信息的采集过程本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对
flume exec source实时监控单个文件
weixin_46122692的博客
11-22 321
1、需求：实时监控Hive日志，并上传到HDFS中 2、需求分析： 3、创建flume agent配置文件flume-file-hdfs.conf文件 cd /data/flume/apache-flume vim job/flume-file-hdfs.conf 添加： # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source
Flume收集根据时间滚动的日志集合到Kafka中去
尼克不可的博客
04-18 816
1. flume是个什么东西 正如上面看到的Logo这样,他就是我们古时候由于交通并不发达,我们在一条河流的上游砍了很多的巨木(注意是又多又重), 这么多笨重的木头我们不可能靠人力将他们运送到指定的地方吧,用交通工具又不现实(你想丛林中这么多树,你的交通工 具怎么在这里面开展开来),所以聪明的古人就想到了一个法子,既然是木头,它还可以浮在水面上,何不直接把砍下来的树丢 进河里,随着水流顺势而下...
【Flume】flume ng中HDFS sink设置按天滚动，0点滚动文件，修改源码实现
三也_攻城狮
04-29 5892
HDFS sink里有个属性hdfs.rollInterval=86400，这个属性你设置了24小时滚动一次，它的确就到了24小时才滚动，但是我们的需求往往是到了0点就滚动文件了，因为离线的job因为都会放在夜里执行。 如果flume是早上9点启动的，那么要到明天早上9点，hdfs的文件才会关闭，难道job要等到9点后才执行，这显然不合适，所以通过修改源码使其能够在0点滚动文件。 首先
双层flume，中间件kafka，采集到hdfs并按日期分文件夹
desperado0726的博客
05-08 1710
1.架构 要采集的日志位于hadoop102和hadoop103两个节点上，采集数据到kafka中，这是第一层flume。 再从Kafka采集到hdfs中，这是第二层flume。 2.第一层flume 自定义拦截器，过滤非json数据 import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import org.apache.flume.Context; import org.apache.flume.Event;
Docker容器中运行flume及启动不输出运行日志问题
09-30
3. **Flume配置问题**：检查Flume配置文件中是否正确指定了日志输出路径。在Docker环境下，应确保路径是相对于容器的工作目录，或者映射到主机的目录。 4. **Docker容器命令**：在启动Docker容器时，确保正确地将...
【Flume】使用Flume监控文件，并将文件上传至HDFS
HR的博客
03-08 2104
【Flume】使用Flume监控文件，并将文件上传至HDFS 编写conf文件 # 定义source、sinks、channels并且重命名 a1.sources = k1 a1.sinks = r1 a1.channels = c1 # 选择sources方法为exec来监控文件 a1.sources.k1.type = exec # 输入监控文件的路径 # 其中F大写代表着即使监控的文件被删除了，只要再次生成文件名一样的文件，会再次监控此文件 # f小写意味着只要监控文件删除，就不再监控 a1.sou
我的大数据之路 - Flume 案例：监听上传Hive日志文件到HDFS
远方·玲玲
04-23 1045
目录 Goal：监听上传Hive日志文件到HDFS How： 1.拷贝Hadoop相关jar到Flume的lib目录下： 2.创建flume-hive-hdfs.conf文件： 3.开启你的集群然后执行监控配置： Done： 作为一个程序员，郁闷的事情是，面对一个代码块，却不敢去修改，更糟糕的是，这个代码块还是自己写的。--摘自前端入门到精通 Goal：监听上传Hive...
flume监控实战3-spoolingDirsource监控文件目录
qq_43662627的博客
10-12 473
spoolingDirsource是安全的，不会丢失数据，但采集文件时不可以被修改，且文件不能重名 #a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #组名名.属性名=属性值 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/root/flume #定义chanel a1.channels.c1.type=memory
Flume 日志收集、使用Flume收集日志到HDFS
陈杰
12-02 6441
第一章 概览与架构 1.1 源、通道与接收器 Flume代理的架构如下图：输入叫做源，输出叫作接收器。通过提供类源与接收器之间的胶水。它们都运行在叫做代理的守护进程中。 源将事件写到一个或者多个通道中。 通道作为事件从源到接收器传递的保留区。 接收器只能从一个通道接收事件。 代理可能会有多个源、通道与接收器。 1.2 Flume事件 Flume传输的基本的数
Flume整合Kafka采集滚动的日志
weixin_30807677的博客
04-05 282
背景： 从Nginx中间件采集web项目产生的滚动日志。通过本地服务器（简称：A服务）的Flume采集日志，然后传输到另外一台服务器（简称：B服务器）的Flume上，然后暂存到 B服务器 的Kafka中。 为了展示效果，通过Kafka的consumer进行消费，打印到字符界面。 1、Flume的配置文件如下： 1.1、A服务器上，[exec-memory-avro.conf] 配置文件如下...
flume定时切割文件问题分析
weixin_34387284的博客
01-16 515
为什么80%的码农都做不了架构师？>>> ...
Flume数据采集各种配置详解
热门推荐
重点在于记录
06-07 1万+
Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl...
flume之Taildir Source支持变化追加文件的日志收集
偏执狂才能生存！热忱比专业知识更重要.........
07-14 1万+
flume之Taildir Source支持变化追加文件的日志收集
Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出
冷峰的空间
12-29 405
应用场景：需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹，按每5分钟生成文件，比如2012年12月29日12点26分的日志，需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。 使用的时候配置如下： agent.sources = s...
Hadoop高手之路--06--Flume日志采集
kc44601的博客
01-09 2427
Flume简介 Flume安装配置 Flume入门使用 Flume监控某个文件夹的变化,监控某个文件的变化 Flume负载均衡,故障恢复,拦截器
利用flume监控目录下生成日志并设置间隔时间生成日志的详细操作
东城庞太师
02-09 972
先确认环境配置好，能正常监听！ 新建目录：/root/logs 在/flume/conf目录下新建配置文件tail-hdfs.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources....
ubuntu使用flume监控文件
最新发布
10-28
在Ubuntu上使用Flume监控文件通常是为了收集日志数据并将其传输到其他系统，如Hadoop HDFS或Apache Kafka。以下是基本步骤： 1. 安装Flume：首先，你需要安装Flume。在终端输入以下命令（假设使用的是apt包管理器）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值