大数据
奕起学习
这个作者很懒,什么都没留下…
展开
-
Zookeeper
Zookeeper概念简介:Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) C、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… D、虽然说可以提供各种服务,转载 2017-08-29 11:39:19 · 301 阅读 · 0 评论 -
zookeeper的java客户端api学习笔记
zookeeper的java客户端api的使用样例。package cn.itcast.bigdata.zk;import java.io.IOException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org原创 2017-08-29 22:29:56 · 253 阅读 · 0 评论 -
分布式应用系统服务器上下线动态感知程序开发学习笔记
分布式应用系统服务器上下线动态感知程序package cn.itcast.bigdata.zkdist;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.Z转载 2017-08-29 23:10:48 · 290 阅读 · 0 评论 -
hdfs及NameNode中filesystem设计思想
FileSystem设计思想图解原创 2017-11-29 21:30:24 · 200 阅读 · 0 评论 -
hadoop中的RPC框架封装思想
RPC元好丑呢该过程调用的底层实现机制:原创 2017-11-29 22:04:00 · 319 阅读 · 0 评论 -
HDFS原理及应用场景设想
Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创原创 2017-11-23 23:09:31 · 303 阅读 · 0 评论 -
ssh无密登录机制
HDFS实现分布式集群系统免密登录步骤: 配置ssh免登陆 #生成ssh免登陆密钥 #进入到我的home目录 cd ~/.ssh ssh-keygen -t rsa (四个回车) 执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥) 将公钥拷贝到要免登陆的机器上 ssh-copy-id localh原创 2017-11-24 00:21:12 · 237 阅读 · 0 评论 -
HDFS及NameNode元数据管理机制
HDFS客户端访问控制流程图NameNode元数据管理机制原创 2017-11-24 23:26:36 · 418 阅读 · 0 评论 -
分布式系统
Zookeeper让服务配置变得更简单 zookeeper是Hadoop下的一个子项目,它是一个针对大型分布式系统的可靠的协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。zookeeper是可以集群复制的,集群间通过Zab(Zookeeper Atomic Broadcast)协议来保持数据的一致性。 基于zookeeper的持久和非持久节点,我们能够近乎实时的感知到后端服务原创 2017-11-27 21:49:57 · 217 阅读 · 0 评论