![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
WF_事难懂
工作就是干
展开
-
Flume框架学习
START:Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称,泛指文件、操作记录等许多数据。一、Flume基础理论1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用。 Chukwa 是一转载 2017-12-22 13:21:15 · 241 阅读 · 0 评论 -
Flume使用
安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意:JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量export FLUME_HOME=/home/apache-flume-1.6.0-bin主题安装细节请原创 2018-01-26 18:46:36 · 302 阅读 · 0 评论 -
Flume 与 Kafka整合案例
Flume集群和Kafka集群安装请参考其他文章A、启动Kafka集群bin/kafka-server-start.sh config/server.propertiesB、配置Flume集群,并启动Flume集群。bin/flume-ng agent -n a1 -c conf -f conf/fk.conf -Dflume.root.logger=DEBUG,conso原创 2018-01-26 19:04:14 · 421 阅读 · 0 评论