Hadoop
文章平均质量分 95
小敏呀
这个作者很懒,什么都没留下…
展开
-
Zookeeper原理
分布式集群中存在两大问题:1是一致性问题,2是资源管理问题。在目前的技术中,Zookeeper主要解决问题1,而Hadoop系统中的YARN主要解决问题2.ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在转载 2016-04-12 11:43:36 · 344 阅读 · 0 评论 -
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图;1.2 hado转载 2016-04-12 11:50:51 · 1110 阅读 · 0 评论 -
Zookeeper安装
安装zookeeper 上面也说了 SolrCloud是基于Solr和Zookeeper的分布式搜索方案,所有要部署solrCloud+tomcat+zookeeper的集群,必须先安装zookeeper安装环境: Liux: CentOS release 6.4 JDK:1.7.0_55 因为我研究的是solr最新的版本,所以研究的是sol原创 2016-04-12 11:46:09 · 733 阅读 · 0 评论 -
Zookeeper-分布式锁简单实现
1.zookeeper实现分布式锁的作用是什么?2.ZooKeeper分布式锁的思路是什么?3.ZooKeeper锁不安全,该如何解决?4.你是否有实现ZooKeeper锁的思路?场景描述在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问.本转载 2016-04-26 11:50:12 · 668 阅读 · 0 评论