flume
笔尖的痕
spark、hadoop,数据仓库,实时计算
展开
-
flume ng 1.3 安装配置方法
业务系统需要收集监控系统日志,想到了hadoop的flume。经过试验,虽说功能不算足够强大,但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具,能够和hadoop,hive等配置完成日志收集,存储,分析处理等工作,更详细的介绍可以参见apache网站。下面介绍下简单的安装配置方法1,网上下载flume-ng安装包,分别部署在收集和接收日志文件的服务器上,服转载 2013-11-08 11:18:34 · 1000 阅读 · 0 评论 -
flume-ng性能优化与架构设计
如图1所示,一个flume-ng agent主要包括source,channel和sink三部分,三部分运行在java JVM中,JVM一般运行在linux'操作系统上,因此,这些因素都可能影响最终的性能。flume-ng性能优化与架构设计,简单来讲,也主要包括以上部分。1, 主键的参数设计1.1 source的配置有时候不需要每台主机均安装flume agent,可以和s转载 2014-09-22 16:11:53 · 820 阅读 · 0 评论 -
flume ng 1.3 安装配置方法
1,网上下载flume-ng安装包,分别部署在收集和接收日志文件的服务器上,服务器上需安装jdk 1.6以上,http://flume.apache.org/download.htmltar -zxvf apache-flume-1.3.0-bin.tar.gz2, 日志文件接收端端新建conf/flume-conf.properties server端的具体配置如下从avro转载 2014-09-22 17:15:28 · 1067 阅读 · 0 评论 -
Flume1.5.0的安装、部署、简单应用(含分布式、与hadoop2.2.0、hbase0.96的案例)
http://www.cnblogs.com/lion.net/p/3903197.html转载 2014-08-29 01:28:32 · 849 阅读 · 0 评论 -
Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合
# 学习前言 本博文整合Flume+Kafka+Storm中的Eclipse工程代码下载地址http://download.csdn.net/detail/u012185296/7633405# Flume的学习请参考_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)这篇博文# Kafka的学习请参考_00017转载 2014-09-23 23:28:19 · 1878 阅读 · 0 评论