Flume
静谧之心
专业摩的佬
业余吉他手
退役喷子
展开
-
Flume 的 sink-batchsize 和 channel 的 transaction-capacity 的大小关系 bug 解决
sink-batchsize 代表了每次sink处理数据的量transaction-capacity 代表了channel中的每个transaction的size如果sink-batchsize 大于 channel的 transaction-capacity由于内部机制, 会造成阻塞 所以会导致channel报错已满解决方案transaction-capacity >= si...原创 2019-11-08 07:04:45 · 2056 阅读 · 0 评论 -
Flume 基本工作机制示意图
原创 2019-10-25 12:54:15 · 268 阅读 · 0 评论 -
Flume agent 多级串联示意图
原创 2019-10-25 09:44:25 · 313 阅读 · 0 评论 -
Flume 中 Source组件的几种类型介绍
exec 读取某个命令的输出结果 tail -F (-f会跟丢 因为直追踪同一文件, 而-F是跟踪文件名)spooldir(读取新文件)原创 2019-10-25 06:58:09 · 10992 阅读 · 1 评论 -
Flume 基本配置文件内容
注意: linux不支持行后注释, 这里仅为方便直观, 请注意修改!#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1# 配置source组件ag1.sources.source1.type = spooldirag1.sources.source1.spoolDir = /root/...原创 2019-10-25 05:45:27 · 388 阅读 · 0 评论 -
Flume 简介与基本工作原理
一. 简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。二. 主要功能1.日志收集Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制...原创 2019-10-18 04:32:15 · 8663 阅读 · 0 评论