大数据：Flume架构笔录

从大数据采集到数据存储—Flume 采集框架：分布式

数据源（模拟）----数据采集（Flume）—数据存储（HDFS：分布式文件系统）

Flume架构
数据采集：从一端到另一端

文件

Source (输入) -----> Channel( 事件的缓存)( 相当于水管)—> Slink( 输出)

HDFSf分布式文件系统）

Flume代码
#1.定义agent :a2（整体架构相加）
a2.sources=r2
a2.slinks=k2
a2.channel=c2

#2.定义Source 输入（文件—》exec）命令（tail -f）监控
a2.sources.r2.type=exec
a2.sources.r2.command=tail -f /opt/Andy
a2.source.r2.shell=/bin/bash -c

#3.定义Slink 输出（类型—》hdfs）
a2.slinks.k2.type=hdfs
a2.slinks.k2.hdfs.path=hdfs://bigtail:9000/flum/%t%m%d%H

#4.定义Channel (缓存—》内存 |磁盘 )
a2.channel.c2.type=memory
a2.channel.c2.capacity=1000 容量
a2.channel.c2.transactionCapacity=100 批量

#5.双向链接 （链接Source 与Slink）
a2.sources.r2.channels=c2
a2.slinks.k2.channel=c2

大数据
1）离线开发–》Hadoop、Flume、Hive、HBase、sqoop、Azkaban
2）实时开发–》Spark Flink
3）项目—》推荐 | 用户画像