2015年04月_yinhaonefu

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 MapReduce的输入处理类

MapReduce输入的处理类FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat保存作为job输入的所有文件，并实现了对输入文件计算splits的方法。至于获得记录的方法是有不同的子类——TextInputFormat进行实现的。InputFormat 负责处理MR的输入部分.有三个作用:验证作

2015-04-27 22:30:35 927

原创 MapReduce中的SequenceFile和MapFile

SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将对序列化到文件中。一般对小文件可以使用这种文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。这种文件格式有以下好处：支持压缩，且可定制为基于Record或Block压缩（Block级压缩性能较优）本地化任务支持：因为文件可以被切分，因此MapReduce任务时数据的本地化

2015-04-26 22:18:46 776

原创 Zookeeper应用场景

分布式队列 FIFO（先进先出） Barrier(同步队列)共享锁集群管理 leader选举命名服务分布式应用配置项的管理等FIFO设计思路1.在/queue-fifo的目录下创建 SEQUENTIAL 类型的子目录 /x(i)，这样就能保证所有成员加入队列时都是有编号的。2.出队列时通过 getChildren( ) 方法可以返回当

2015-04-22 22:34:03 414

原创 Zookeeper学习

Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务Zookeeper的角色领导者（leader），负责进行投票的发起和决议，更新系统状态学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票Observer可以接

2015-04-21 22:35:07 396