![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 56
牧码文
只要思想不滑坡,从此不怕bug多
展开
-
flume采集数据到hdfs时报错java.lang.NoSuchMethodError
flume采集数据到hdfs时报错java.lang.NoSuchMethodError 在最近的学习中,我想用flume和kafka以及hdfs设计一个日志采集的管道,使用flume监控本地文件,当本地文件发生变化时候将数据采集到kafka中,然后在通过flume消费kafka的数据采集到hdfs中存储。 但是在进行的过程中发现有一些问题,程序采集完毕之后,hdfs中并没有收集到数据,然后就开始了排除bug的选择 首先怀疑是配置文件编写错误,但是如果配置文件有明显错误就不可能执行成功,本着仔细的原则还是从原创 2021-09-25 20:42:05 · 711 阅读 · 0 评论 -
flume监控文件写入到kafka
flume监控文件写入到kafka 配置文件的书写 #为各组件命名 a1.sources = r1 a1.channels = c1 #描述source a1.sources.r1.type = TAILDIR a1.sources.r1.filegroups = f1 a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* a1.sources.r1.positionFile = /opt/module/flume/taildir_posit原创 2021-09-24 19:52:51 · 625 阅读 · 0 评论 -
大数据必学框架-Flume
大数据必学框架-Flume Flume简介 Flume定义: Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。 **官网地址:**https://flume.apache.org Flume的基础架构 介绍一下Flume组件 Agent Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成,Source、Channel、Sink。 Source Source原创 2021-08-04 22:23:05 · 678 阅读 · 2 评论