![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
qq_35399459
这个作者很懒,什么都没留下…
展开
-
Flume源代码解读一
[ xcly原创于iteye,见http://xcly.iteye.com ] 年初团队接了搭建公司Hadoop平台的研发计划,负责公司产品日志的收集,分析两个工作。 日志收集准备搭建flume(0.9.3)这个分布式日志收集集群.背景介绍完毕,马上开始。 Flume分为agent,collector,master三个概念节点,agent负责收集日志,发到c...原创 2012-03-10 12:28:20 · 91 阅读 · 0 评论 -
Flume源代码解读二
[ xcly原创于iteye,见http://xcly.iteye.com ] 接上次介绍tailDir的实现后,这次介绍节点的启动。节点的启动实现在高版本中会有所区别,这次针对flume0.9.3. 启动Flume Master或者Node一般都用FlumeWatchdog启动,生成pid文件,判断配置读取,利用Watchdog, 利用Runtime的exec来启动...原创 2012-03-10 18:28:05 · 105 阅读 · 0 评论 -
Flume源代码解读三
[ xcly原创于iteye,见http://xcly.iteye.com ] 本节重点介绍 agentSink中ENDTOEND的实现。 每一个节点通过source获得事件Event,然后由sink处理,sink同source一样,flume提供了多种实现,sink的生成同Flume源代码解读一中介绍的实现方式类似,由SinkFactory工厂方法实现,跟SourceF...原创 2012-03-10 20:40:43 · 112 阅读 · 0 评论 -
Flume源代码解读四
[ xcly原创于iteye,见http://xcly.iteye.com ] 今天介绍Flume里面用到的BackoffAlgo算法,接口由BackoffPolicy定义,让我们看看下面的几个关键的方法reset:Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。bac...原创 2012-03-15 13:01:06 · 104 阅读 · 0 评论 -
Flume源代码解读五
[ xcly原创于iteye,见http://xcly.iteye.com ] 本节介绍Flume存储配置项的工作方式,Flume支持zookeeper和memory两种方式。 FlumeMaster启动时,创建ConfigStore。 如果为zookeeper方式,还初始化ZooKeeperService。对ConfigStore的使用通过Configur...原创 2012-03-15 17:01:08 · 114 阅读 · 0 评论 -
Flume 部署注意一
Flume 安装 1. jdk1.6以上。可修改环境变量.bash_profile2.需要/tmp目录的读取写入权限。master pid,,node pid生成在此目录3.安装zookeeper. 注意在datadir目录生成myid数字标识。4.一般用scp同步数据,需要ssh生成无密码授权文件。5.winscp上传数据到服务器6.修改flume-dameon...原创 2012-04-17 22:53:00 · 113 阅读 · 0 评论 -
Flume概念总结一
Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统,支持TCP和UDP等2种模...原创 2012-04-17 22:54:31 · 137 阅读 · 0 评论