flume学习笔记

最新推荐文章于 2024-09-26 17:10:31 发布

alinna2015

最新推荐文章于 2024-09-26 17:10:31 发布

阅读量105

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/xiaocainiaohuzhuo/p/8328728.html

版权

Flume笔记
分布式日志收集工具，对海量日志的采集
日志的处理流程
日志的收集---》数据的清洗---》数据的存储---》数据的分析---》数据的展示
0.9版本以下 flume-og
1.x版本 flume-ng
clien--webserver
1.
client --》source --》channel--》sink--》hdfs
client --》source --》channel--》sink--》sink
2.
sink--》
--》sink--》hdfs
sink--》
3.
--》channel --》sink--》
source--》 --》source
--》channel --》sink--》

下载 flume 安装包
flume
解压
tar-zvxf flume
配置环境变量
vi .base_profile
FLUME_HOME FLUME_CONF_DIR PATH
重启系统或者 source .base_profile

修改配置文件
agent.souces = r1 #定义source
agent.sinks = s1 #定义sinks
agent.channels = c1 #定义channel
agent.sources.r1.channel = c1 #配置
agent.sinks.s1.channel = c1
agent.sources.r1.type = exec
agent.sources.r1.command = tail -F /home/info #日志文件
agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000
agent.channels.c1.transactionCapacity = 100
agent.sinks.s1.type = logger #日志

启动flume
bin/fulme-ng agent --conf ./conf/ -f conf/f;ume-conf.properties-Dflume.root.logger=DEBUG,console -n agent

ping 127.0.0.1 >> /home/info
查看控制台

转载于:https://www.cnblogs.com/xiaocainiaohuzhuo/p/8328728.html