![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 70
__顾影自怜
这个作者很懒,什么都没留下…
展开
-
flume简单介绍
什么是flume? flume中文名是日志收集系统。由cloudera提供的一个分布式,高可靠,高可用的服务,用于分布式的海量日志的高效、收集聚合、移动系统,聚合和传输的系统是它的标志。简单的来说就是一个针对日志数据进行采集和汇总的工具,即把A移动到B。flume架构介绍 flume最简单的部署单元叫flume Agent,接收或生成数据并缓存数据知道最终写入到Agen...原创 2018-04-26 16:17:04 · 282 阅读 · 0 评论 -
单节点Flume部署
准备 Flume版本: apache-flume-1.8.0-bin.tar.gz 解压Flume: tar -zxvf apache-flume-1.8.0-bin.tar.gz配置文件 在Flume的conf下创建新文件a1.conf 并作如下编辑#定义agent的source channel sinksa1.sources = sr1a1.chan...原创 2018-04-24 12:52:41 · 631 阅读 · 0 评论 -
flume 如何连接hdfs
准备1 启动dfs2 关闭防火墙3 主目录下创建需要监控的文件夹 连接hdfs在flume下的conf下创建a4.confvi conf/a4.test#注意,此命令在flume文件夹下编辑a4.conf#设置agent的source,sink,channela4.channels = c1a4.sinks = k1a4.sources =s1#设置sourcea4....原创 2018-04-26 21:21:15 · 2723 阅读 · 0 评论