Flume
文章平均质量分 82
RayfunC
一个懂艺术, 会写文的攻城狮
展开
-
Flume到底会不会丢失数据?
Source到Channel是事务性的,put事务Channel到Sink也是事务性的,take事务这两个环节都不可能丢失数据, 传输失败后会回滚doRollback。但是source: (1)exec source ,后面接tail -f,这个数据也是有可能丢的。 (2)TailDir source ,这个是不会丢数据的,它可以保证数据不丢失。channel: 采用MemoryChannel,(1)在agent宕机时候导致数据在内存中丢失;(2)Channel...原创 2021-01-01 16:19:17 · 2951 阅读 · 2 评论 -
Flume 自定义 Source
Source 是负责接收数据到 Flume Agent 的组件Source 组件可以处理各种类型、各种格式的日志数据,包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy官方提供的 Source 类型已经很多,但是有时候并不能满足实际开发当中的需求,此时我们就需要根据实际需...原创 2019-01-21 19:35:21 · 3858 阅读 · 0 评论 -
Flume 参数调优
Source 增加Source个数(使用Tair Dir Source时可增加FileGroups个数)可以增大Source的读取数据的能力。 例如:当某一个目录产生的文件过多时需要将这个文件目录拆分成多个文件目录,同时配置好多个 Source 以保证 Source 有足够的能力获取到新产生的数据。 batchSize 参数决定 Source 一次批量运输到 Channel 的event条数,...原创 2019-01-21 19:50:17 · 575 阅读 · 0 评论 -
Flume 组件介绍
名称 解析 Event 一个数据单元,带有一个可选的消息头,其实就是一条消息,一个日志;(Kafka 的消息没有消息头,因此,Flume 的消息进入 Kafka 后,消息头就丢失了) Flow 数据流,Event 从源点到达目的点的迁移的抽象 Client ...原创 2019-03-18 19:27:55 · 235 阅读 · 0 评论 -
Flume 监控 Ganglia 组件的安装
步骤1: 安装 httpd 和 phpsudo yum -y install httpd php步骤2: 安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel步骤3: 安装 Gangliasudo rpm -Uvh http://dl.fed...原创 2019-01-22 11:25:03 · 228 阅读 · 0 评论 -
flume 报错 java.nio.BufferUnderflowException
在 flume 与 kafka 对接的数据流中出现的问题java.nio.BufferUnderflowExceptionflume 日志中报错信息如下:ERROR [kafka-producer-network-thread | producer-1] (org.apache.kafka.clients.producer.internals.Sender.run:130) - U...原创 2019-03-22 16:35:02 · 417 阅读 · 0 评论