flume
自由地带
踏踏实实的程序员
展开
-
Flume总结02_使用案例
目录 监控某个端口 实时读取本地文件到 HDFS 实时读取目录文件到 HDFS 案例 单数据源多出口案例(选择器) 单数据源多出口案例(Sink ) 多数据源汇总案例 本文具体列举几个常见的flume使用案例,具体安装过程参见Flume总结01_架构和基本概念 部分。 在安装完成后,具体配置过程如下 监控某个端口 1在 flume 目录下创建 job 文件夹,在 job...原创 2019-08-07 23:36:52 · 273 阅读 · 0 评论 -
Flume总结04_常见面试题
收录一些常见的flume面试题 1 怎样对Flume 数据传输进行监控 使用第三方框架 Ganglia 实时监控 Flume。2 Flume的Source ,Sink ,Channel的作用? 使用过哪些Source类型? 作用 Source 组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括 avro、thrift、exec、jms、spooling d...原创 2019-08-08 16:10:57 · 411 阅读 · 0 评论 -
Flume总结01_基本概念和组件说明
目录 定义 组成架构 原理 安装 安装地址 安装部署 启动命令 数据链路 Source端接入类型 source端常用方式 sink端输出类型 Sink常用输出方式 channel类型 常见拓扑结构 定义 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。 Flume最主要的作...原创 2019-08-08 15:01:39 · 323 阅读 · 0 评论