- 博客(4)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 Flume(NG)架构设计要点及配置实践
Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。架构设计要点
2018-01-25 19:35:57
191
转载 Flume中的HDFS Sink配置
Flume中的HDFS Sink配置参数说明type：hdfspath：hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/filePrefix：默认值：FlumeData，写入hdfs的文件名前缀fileSuffix：写入 hdfs 的文件名后缀，比如：.lzo .log等。inUsePref
2018-01-25 15:11:08
7748
转载 Flume安装及简单部署
1 Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一
2018-01-24 18:45:47
224
转载 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下，在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错：12345678910111213141516171819202122232425
2018-01-02 18:19:26
318
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人