![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 91
GOD_WAR
喜欢钻研大数据、python、机器学习、人工智能...
展开
-
flume事务和进阶
1.概述flume是高可用,高可靠的,分布式的海量日志采集、聚合和传输的系统。2.flume的作用用户行为日志通过前端平台存储到logservice中,通过flume的实时采集发过来的信息,然后发送到大数据平台上3.flume架构日志源-->source-->channel-->sink-->HDFSagent:就是一个JVM的进程,里面包含source,channel,sinksource:采集或读取日志的组件,不同的数据源使用不同的sourc原创 2021-04-17 16:53:36 · 1105 阅读 · 1 评论 -
Flume自定义拦截器
需求:将小写字母转换成大写字母配置Pom.xml文件<dependencies><!-- flume核心依赖--><dependency><groupId>org.apache.flume</groupId><artifactId>flume-ng-core</artifactId>&...原创 2021-03-16 20:47:20 · 783 阅读 · 0 评论 -
flume 时报 NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
问题服务器上环境hadoop 3.0、flume 1.9运行flume报错:2020-07-07 16:39:56,359 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failedjava.lang.NoSuchMethodError: com.google.c.原创 2020-07-07 09:00:45 · 1315 阅读 · 0 评论 -
Flume kafkaChannel
flume的一个agent包括source、channel、sink,但是有时候其实可以不需要source或者是sink,比如在使用flume时,把flume监控的日志发送到kafka中,可以不用使用sink,把channel定义为kafkachannel,kafkachannel作为生产者,直接把数据生产到kafka中,或者使用flume监控kafka中的数据,把数据发送到其他地方,可以不使用source,使用kafkachannel作为消费者,从kafka中拉数据,把数据写到指定的sink上使用.原创 2020-07-06 19:07:57 · 582 阅读 · 0 评论 -
Flume拦截器
一、Flume拦截器时间戳拦截器Timestamp.conf#1.定义agent名, source、channel、sink的名称a4.sources = r1a4.channels = c1a4.sinks = k1#2.具体定义sourcea4.sources.r1.type = spooldira4.sources.r1.spoolDir = /opt/modul...原创 2019-11-01 14:23:23 · 295 阅读 · 0 评论 -
flume 多种配置详解
Flume:=============== Flume是一种分布式的、可靠的、可用的服务,可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力,具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型,允许在线分析应用程序。 source:源 对ch...原创 2019-10-15 09:55:29 · 551 阅读 · 0 评论 -
Flume 常用配置
1. SourceNetCat Source:绑定的端口(tcp、udp),将流经端口的每一个文本行数据作为Event输入;type:source的类型,必须是netcat。bind:要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑,对应多个IP。port:绑定的本地的端口。Avro Source:监听一个avro服务端口,采集Avr...原创 2019-10-15 09:49:01 · 345 阅读 · 0 评论