Flume
学习·笔记
一个专属于自己的隐秘地方,在那里我们可以远离压力与忧虑,可以放松自我
展开
-
Flume的数据收集,监控目录,监控某个文件的最新目录,两个agent级联,故障转移,负载均衡,过滤器案例
数据收集 在flume安装包下创建一个临时文件tmpconf mkdir tmpconf 创建文件,并在文件中添加数据 vim tmpconf/a1.conf 数据 a1.sources = r1 a1.channels = c1 a1.sinks = k1 a1.sources.r1.type = netcat a1.sources.r1.bind = node01 a1.sou...原创 2019-12-06 10:46:20 · 5451 阅读 · 2 评论 -
Flume的安装部署
1.上传Flume的压缩包 2.解压到指定文件 tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C …/servers/ 3.配置环境变量(可以不配置) 命令 vim /etc/profile.d/flume.sh 内容: export FLUME_HOME=/export/servers/apache-flume-1.8.0-bin...原创 2019-12-06 10:13:03 · 5068 阅读 · 1 评论 -
Flume的介绍
概述: Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件,socket数据包、文件、文件夹、kafka等各种形式源数据,又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一般的采集需求,通过对flume的简单配置即可实现。 Flume针对特殊场景也具备良好的自定义扩展能力, 因此,flume...原创 2019-12-06 08:10:01 · 5152 阅读 · 1 评论