2014年07月_fannk

原创项目整理-一般Java项目

Policy Analysis 项目的框架：Mysql和Derby做数据的存储，FreeMarker做web页面表单的验证，Guava缓存器做policy的缓存，groovy让用户扩展验证逻辑项目的难点：下载任务并发的处理，日志的分发，并行处理遇到的问题：因为一个用户一天日志下载的时间比较长，需要高效的划分下载的任务。将用户的日志按照天下载，那样已经下载的日志就可以不用重新下载。...

2014-07-29 22:20:18 137

原创项目整理-大数据分析项目

有大半年时间在做大数据分析，主要产品为OI。 OI 用到了flume，spark，graphite。学习了大数据的开发。优点：flume，spark源代码的学习，performance调优 OI 项目的框架：用flume做数据收集，spark做数据分析，graphite做数据显示，seyren做告警系统项目的难点：spark和flume的框架的学习，performance的...

2014-07-29 15:20:45 378

原创 Zookeeper 源码分析-leader选举

选举的算法可以参考：http://blog.csdn.net/xhh198781/article/details/10949697 假设配置中有两个server server.1=localhost:2888:3888 server.2=localhost:2889:3888 由前文可以，zookeeper在选举leader之前会先调用下面的代码，首先设置currentVo...

2014-07-17 16:48:22 1238

原创 Zookeeper 源码分析-启动

本文主要介绍了zookeeper启动的过程运行zkServer.sh start命令可以启动zookeeper。入口的main函数在类中QuorumPeerMain。 main函数主要调用了runFromConfig函数，创建了QuorumPeer对象，并且调用了start函数，从而启动了zookeeper。 public class QuorumPeerMain...

2014-07-15 16:55:21 90

原创 flume源码分析-Sink

Sink 将从channel接收event，然后将event发往目标地址。 /** * * A simple sink which reads events from a channel and writes them to HBase. * This Sink uses an aysnchronous API internally and is likely to * per...

2014-07-14 17:01:45 272

原创 flume源码分析-SinkProcessor

flume包括三种sink processor，DefaultSinkProcessor，FailoverSinkProcessor，LoadBalancingSinkProcessor Default sink processor that only accepts a single sink, passing on process results without any additi...

2014-07-14 15:28:13 434

原创 flume源码分析-ChannelSelector

flume自带两种channelSelector。一种是MultiplexingChannelSelector，另一种是ReplicatingChannelSelector。 ReplicatingChannelSelector是将event发送到每个channel public class ReplicatingChannelSelector extends AbstractChan...

2014-07-14 14:22:47 850

fannk的博客