- 博客(4)
- 资源 (20)
- 收藏
- 关注
原创 MapReduce的输入处理类
MapReduce输入的处理类FileInputFormat是所有以文件作为数据源的InputFormat实现的基类,FileInputFormat保存作为job输入的所有文件,并实现了对输入文件计算splits的方法。至于获得记录的方法是有不同的子类——TextInputFormat进行实现的。InputFormat 负责处理MR的输入部分.有三个作用:验证作
2015-04-27 22:30:35 927
原创 MapReduce中的SequenceFile和MapFile
SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将对序列化到文件中。一般对小文件可以使用这种文件合并,即将文件名作为key,文件内容作为value序列化到大文件中。这种文件格式有以下好处:支持压缩,且可定制为基于Record或Block压缩(Block级压缩性能较优)本地化任务支持:因为文件可以被切分,因此MapReduce任务时数据的本地化
2015-04-26 22:18:46 776
原创 Zookeeper应用场景
分布式队列 FIFO(先进先出) Barrier(同步队列)共享锁集群管理 leader选举命名服务分布式应用配置项的管理等FIFO设计思路1.在/queue-fifo的目录下创建 SEQUENTIAL 类型的子目录 /x(i),这样就能保证所有成员加入队列时都是有编号的。2.出队列时通过 getChildren( ) 方法可以返回当
2015-04-22 22:34:03 414
原创 Zookeeper学习
Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务Zookeeper的角色领导者(leader),负责进行投票的发起和决议,更新系统状态学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票Observer可以接
2015-04-21 22:35:07 396
教务管理系统测试报告
2016-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人