Flume
路飞DD
一心修仙
展开
-
Flume | 基本概念
Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集,聚集,移动信息的服务,Flume仅仅运行在linux环境下,它是一个基于流式的数据的灵活的架构,具有健壮和容错性。 Flume组成架构 Agent Agent是一个JVM进程,它以事件的形式将数据从源头送至目的,是Flume数据传输的基本单元。 Agent主要有3个部分组成,Source...原创 2019-07-07 22:36:28 · 127 阅读 · 0 评论 -
Flume | 安装
Flume官网地址 文档查看地址 下载地址 Flume 安装 1)下载 flume 2)解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 [hadoop@hadoop102 software]$ tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/ 3)修改apache...原创 2019-07-07 23:06:26 · 123 阅读 · 0 评论 -
Flume | 实时读取文件到 HDFS
1)在 flume/job 目录下创建 flume-file-hdfs.conf 配置文件,内容如下 # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a...原创 2019-07-08 12:06:26 · 665 阅读 · 0 评论