flume
文章平均质量分 86
T D Z
这个作者很懒,什么都没留下…
展开
-
flume----复制选择器 分路选择器 file-channel sink处理器默认/负载均衡/失败切换 kafka-source/sink/channel hive-sink 实战练习
配置案例-复制选择器replicating selector (复制选择器)selector 将event复制,分发给所有下游节点#下游a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.channels = c1#级联a1.sources.r1.type = avro#主机名a1.sources.r1.bind = 0.0.0.0#端口号a1.sources.r1.port = 41414a1.chann原创 2021-01-10 22:44:42 · 528 阅读 · 0 评论 -
Flume----简介 核心概念 安装部署 基础实战
概述Flume是一个数据采集工具可以从各种各样的数据源(服务器)上采集数据传输(汇聚)到大数据生态的各种存储系统中(hdfs hbase hive kafka); 开箱即用 (安装部署 修改配置文件)特性Flume是一个分布式,可靠, 和高可用的海量日志采集, 汇聚和传输的系统Flume可以采集文件, socket数据包(网络端口), 文件夹, kafka, mysql数据库等各种形式源数据又可以将采集到的数据(下沉sink)输出到HDFS hbase hive kafka等众.原创 2021-01-09 01:08:56 · 291 阅读 · 0 评论