大数据
文章平均质量分 54
MrAlgernon
fdgdgdfgdfgdfg
展开
-
Hadoop HDFS SingleCluster安装
环境准备机器列表 主机ip 主机名 用途 10.80.3.55 node1 namenode 10.80.3.163 node2 datanode/secondrynamenode 10.80.3.132 node3 datanode 10.80.3.164 node4 datanode 确保每台机器已经安装好jdk环境下载解压# 下载安原创 2017-08-09 14:38:11 · 417 阅读 · 0 评论 -
Hadoop HDFS通过QJM实现高可用HA环境搭建
官方参考文档:http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html环境准备机器列表 主机 NN DN ZK ZKFC JN RM NM node1 Y Y Y node2 Y原创 2017-08-09 17:40:51 · 426 阅读 · 0 评论 -
ZooKeeper系列(二) Zookeeper的环境配置
Zookeeper的环境配置一、Zookeeper的搭建方式Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。1.单机模式:Zookeeper只运行在一台服务器上,适合测试环境;2.伪集群模式:就是在一台物理机上运行多个Zookeeper 实例。3.集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble)。Zookeeper转载 2017-11-03 14:36:39 · 625 阅读 · 0 评论 -
Zookeeper系列(一) Zookeeper的原理学习
一、ZooKeeper的背景1.1 认识ZooKeeperZooKeeper—译名为“动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全的观赏动物。回转载 2017-11-03 14:07:58 · 421 阅读 · 0 评论 -
ZooKeeper系列(四) Zookeeper的应用实践
一、配置服务配置服务是分布式应用所需要的基本服务之一,它使集群中的机器可以共享配置信息中那些公共的部分。简单地说,ZooKeeper可以作为一个具有高可用性的配置存储器,允许分布式应用的参与者检索和更新配置文件。使用ZooKeeper中的观察机制,可以建立一个活跃的配置服务,使那些感兴趣的客户端能够获得配置信息修改的通知。下面来编写一个这样的服务。我们通过两个假设来简化所需实现的服务(稍加修改就可以转载 2017-11-03 15:40:09 · 581 阅读 · 0 评论 -
ZooKeeper系列(三) Zookeeper的四字命令及API
前面虽然配置了集群模式的Zookeeper,但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。一、Zookeeper的四字命令Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令,用来获取Zookeeper服务的当前状态及相关信息。用户在客户端可以通过telnet或nc向Zookeeper提交相应的命令。Zookeeper常用的四字命转载 2017-11-03 15:05:38 · 817 阅读 · 0 评论 -
浅谈分布式服务协调技术 Zookeeper
浅谈分布式服务协调技术 ZookeeperGoogle的三篇论文影响了很多很多人,也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce,于是我们有了Hadoop;根据GFS,于是我们有了HDFS;根据BigTable,于是我们有了HBase。而在这三篇论文里都提及Google的一个Lock Service —— Chubby,哦,于是我们有了Zookeeper。随着大数原创 2017-11-03 16:47:22 · 547 阅读 · 0 评论