flume扫描指定目录，并且直接显示数据

最新推荐文章于 2021-05-01 02:57:06 发布
最新推荐文章于 2021-05-01 02:57:06 发布
阅读量386 收藏
点赞数 1
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44694973/article/details/99331935
版权

这里是扫描我root/logs下面的文件，sink发送端type=logger就是默认直接显示，把其余的type注释掉就可以啦
在这里插入图片描述
读取的数据
在这里插入图片描述
运行flume，显示读取的数据（中文读取不出来）
在这里插入图片描述

flume运行命令

flume-ng agent -n a1 -c conf -f /opt/software/flume-1.7.0/conf/flume-poll.conf -Dflume.root.logger=INFO,console
十有八九
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume 监听linux下的文件夹下所有文件，通过spark批量读取数据
qq_31407011的博客
03-09 523
flume 监听linux下的文件夹下所有文件，并将文件内容存入到hdfs，生成多个以时间戳结尾的文件，通过spark批量读取数据。 配置 flume-spooldir.conf ### define agent a3.sources = r3 a3.channels = c3 a3.sinks = k3 ### define sources a3.sources.r3.typ...
日志采集之filebeat和flume
热门推荐
focuson_的博客
05-27 1万+
Filebeat（基于6.5版本） 概述 filebeat的由来 Logstash是ELK（ElasticSearch、Logstash、Kibana）组件中的一个。这三个组件往往是配合使用的：ES负责数据的存储和索引，Logstash负责数据采集和过滤转换，Kibana则负责图形界面处理；之后，这三个组件又先后被收购于Elastic.co公司名下 因为logstash是jvm跑的，资源...
使用Flume监控文件并导入到HIVE表中
优质后端技术知识记录
12-09 1236
首先因为Hive的储存是基于HDFS的，所以目标等同于，flume监控文件并上传HDFS上 Hive建表 create table test(name String,gender String)row format delimited fields terminated by ','; Flume配置文件如下 监控文件 /usr/local/hive.log 上传路径hdfs://...
Flume的监控（Monitor)
mnasd的博客
08-22 7034
使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。 Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#m...
记Flume监控多级递归目录的解决方案
python_awm的博客
01-21 1445
Flume版本 1.9.0 场景：test文件夹下有目录dir_a,dir_b,以及文件c.log;目录dir_a下又有子目录dir_a_1和文件a_01.log,目录dir_a_1下又可能有子目录和子文件...... 需求：监控test目录下所有递归子目录及子文件变化。 flume官方没有提供 满足需求的Source，可以考虑两种方式： ①自定义Source ②在已有的Source基础上修改源码进行功能拓展 1.下载flume源码包 https://githu...
2017最新大数据架构师精英课程
11-01
本资源为大数据基础到中高级教学资源，适合稍微有点大数据或者java基础的人群学习，资源过大，上传乃是下载链接，不多说，上目录： 1_java基础2 l3 a2 a$ t7 J2 b+ `- p 2_java引入ide-eclipse 3_java基础知识-循环...
网易大数据-实战大作业：网站分析大数据框架调度-火影启源1
08-08
在实验中，Flume 被用于将指定文件地址的日志数据按照设定的规则同步到HDFS。 - 规则包括：事件间隔设置为1小时，存储格式为lzo，且文件按天存储在不同的HDFS目录下。 2. **MapReduce任务**： - MR 用于日志解析...
bigdata_phoenix.docx
11-23
Phoenix 提供了 JDBC API，使得用户可以使用 SQL 语句来操作 HBase 数据，避免了直接使用 HBase 客户端 API 的复杂性。这不仅简化了开发工作，而且通过优化查询处理，Phoenix 在性能上并未牺牲，甚至有所提升。 ...
JAVA上百实例源码以及开源项目源代码
09-17
　用JAVA开发的一个小型的目录监视系统，系统会每5秒自动扫描一次需要监视的目录，可以用来监视目录中文件大小及文件增减数目的变化。 Java日期选择控件完整源代码 14个目标文件 内容索引:JAVA源码,系统相关,日历,...
JAVA上百实例源码以及开源项目
01-03
　用JAVA开发的一个小型的目录监视系统，系统会每5秒自动扫描一次需要监视的目录，可以用来监视目录中文件大小及文件增减数目的变化。 Java日期选择控件完整源代码 14个目标文件 内容索引:JAVA源码,系统相关,日历,...
flume配置-生产环境下从文件目录下将日志上传到s3
RangeYan
12-28 3642
生产环境下将收集到的日志上传至s3，采用多个spoolDir soure 和多个hdfs sink的方式是为了提高读取数据，上传数据的吞吐量。 clog.sources = source_log1 source_log2 clog.channels = channel_log clog.sinks = sink_log1 sink_log2 sink_log3 sink_log4 si
利用flume监控目录下生成文件的详细操作
东城庞太师
02-09 842
先确认环境配置好，能正常监听！ 新建目录：/root/logs2 3.在/flume/conf目录下新建配置文件spooldir-hdfs.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.s...
Flume 学习 —— 案例三：Flume 监听本地目录，并将目录下文件上传至 HDFS
wangyang163wy的博客
03-05 3476
案例三：Flume 监听本地目录，并将目录下文件上传至 HDFS 创建配置文件 1.在这里，我使用 Flume 监听的是 /usr/wang/data/upload 目录下的文件 2.在 flume 的 conf 同级目录下创建 job 文件夹，并在 job 文件夹内创建 flume-dir-hdfs.conf cd /usr/wang/flume mkdir job cd job vim flu...
Linux 查看flume进程,flume分布式日志收集测试
weixin_29777019的博客
05-01 586
官方参考文档Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。架构设计要点...
【Flume】使用Flume监控文件，并将文件上传至HDFS
HR的博客
03-08 1885
【Flume】使用Flume监控文件，并将文件上传至HDFS 编写conf文件 # 定义source、sinks、channels并且重命名 a1.sources = k1 a1.sinks = r1 a1.channels = c1 # 选择sources方法为exec来监控文件 a1.sources.k1.type = exec # 输入监控文件的路径 # 其中F大写代表着即使监控的文件被删除了，只要再次生成文件名一样的文件，会再次监控此文件 # f小写意味着只要监控文件删除，就不再监控 a1.sou
Flume学习笔记 - Flume监控指定端口，指定文件， 指定目录总结
兀坐晴窗独饮茶
11-25 925
文章目录1.1 监控指定端口的数据流 :book:1.2 实时读取本地文件到HDFS1.3 实施监控指定目录下的多个文件 1.1 监控指定端口的数据流 ???? 使用 Flume 监控节点 cm5 上的 8989 端口，将数据输出到控制台上 配置 : 创建配置文件 # 配置Agent的sources,sinks,channels 别名 a1.sources = r1 a1.sinks = k1 ...
kafka来读取flume的数据
weixin_41876523的博客
05-24 2367
一、查看kafka topic ./kafka-topics.sh --list --zookeeper  bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181./kafka-topics.sh  --delete  --zookeeper bi...
Flume实战监听文件夹内文件变化
松门一枝花
03-23 8993
Flume官网有多种场景的source，sink，channel的配置 1、flume安装目录下新建文件夹 example  2、在example下新建文件  spooldir-logger.conf 内容如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe
flume怎样指定两个数据槽
最新发布
03-26
在flume中指定两个数据槽需要做以下几个步骤： 1. 在flume配置文件中定义两个数据槽，例如： ``` #定义第一个数据槽 agent.sources.source1.type = ... agent.sources.source1.channels = channel1 #定义第二个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值