![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 74
不要海带和香菜
这个作者很懒,什么都没留下…
展开
-
flume相关报错
(1)Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight (2)org.apache.flume.ChannelException: Take list for MemoryTransaction, capacity 1000 full, consider committing more frequen.原创 2021-02-20 15:21:29 · 356 阅读 · 0 评论 -
RollingFileSink二次开发
flume 1.8 file_roll相关参数配置 把 Event 存储到本地文件系统。 属性 默认值 解释 channel – 与 Sink 绑定的 channel type – 组件类型,这个是:file_roll. sink.directory – Ev..原创 2021-02-20 15:04:27 · 345 阅读 · 1 评论 -
flume简介与安装配置
1 flume简介 flume是分布式的海量日志采集、聚合和传输的系统。从各类数据发送方接收数据进行简单处理后再写到各数据接收方。 配置项名称介绍: a1.sources = r1 r2 a1.channels = c1 c2 a1.sinks = k1 k2 a1:flume节点名称,启动时通过参数命令-name指定。 a1.sources:监听的源,若有多个用空格隔开,用于收集数据...原创 2018-10-09 10:24:27 · 524 阅读 · 0 评论 -
flume常用配置
1、Sources类型 (1)Avro Source a1.sources.r1.type = avro a1.sources.r1.channels = c1 c2 a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 20001 a1.sources.r1.selector.type= multiplexing # selector配置 a...原创 2019-04-10 17:07:39 · 389 阅读 · 1 评论