Flume
文章平均质量分 85
lmh94604
这个作者很懒,什么都没留下…
展开
-
Flume核心概念
Flume是Cloudera提供的日志收集系统,具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输,Flume支持在日志系统中定制各类数据发送方,同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 Flume传输的数据的基本单位是Event,如果是文本文件,通常是一行记录,这也是事务的基本单位。Event从Source,流向Cha原创 2016-05-27 11:01:36 · 2384 阅读 · 0 评论 -
flume保存文件到hdfs的时候报错
向hdfs中写文件,启动flume的时候报错1. java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$CompressionType2. java.io.IOException: No FileSystem for scheme: hdfs原创 2016-05-05 17:26:36 · 8685 阅读 · 3 评论 -
Flume部署和启动
Flume启动命令 flume-ng agent --conf conf --conf-file conf/file.log --name agent1 -Dflume.root.logger=DEBUG, console -c (--conf) : flume的conf文件路径 -f (--conf-file) : 自定义的flume配置文件 -n原创 2016-05-27 10:51:58 · 4834 阅读 · 0 评论