大数据
duyantong94
这个作者很懒,什么都没留下…
展开
-
【大数据】Zookeeper的学习与安装(附加脚本全启动)
1. Zookeeper概念简介Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务zookeeper是为别的分布式程序服务的Zookeeper**本身就是一个分布式程序**(只要有半数以上节点存活,zk就能正常服务,zookeeper适合装在奇数台机器上!!!)Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、...原创 2018-08-12 22:38:58 · 270 阅读 · 0 评论 -
【大数据】Zookeeper的Java API应用
这里简单模拟了一个分布式应用的主节点HA及客户端动态更新主节点状态的场景。以便于了解Zookeeper的java API。场景:三台服务器mini1,mini2,mini3,上线后向Zookeeper注册信息,然后客户端实时获取服务器列表。代码中将服务器注册在Zookeeper的“/servers”路径下,需要先创建这个路径,方法为: 1.在Zookeeper服务端输入zkCli...原创 2018-08-13 15:51:10 · 212 阅读 · 0 评论 -
【大数据】MapReduce原理(1)
MapReduce原理MapReduce是一个分布式运算程序的编程框架Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。MAPREDUCE框架结构及核心运行机制一个完整的MapReduce程序分布式运行时主要有三个部分组成: MapReduce的管理程序MRAPPMaster:负责整个程序的...原创 2018-08-26 10:23:03 · 205 阅读 · 0 评论 -
【大数据】MapReduce原理(2)
MapReduce中自定义传递对象自定义传递对象: 1. 自定义key传递对象需要实现WritableComparable接口。 注意:这里定义类必须有无参构造函数,否则会报错。 2. 自定义key传递对象需要实现Writable接口。 这两种实现区别在于:MapReduce在map阶段会对结果按key进行排序,所以需要实现Comparable的比较方法: 同时还要重写序列化...原创 2018-08-29 15:52:46 · 199 阅读 · 0 评论