zookeeper
东纪元
这个作者很懒,什么都没留下…
展开
-
zookeeper zab协议
https://blog.csdn.net/liuxiaohui1/article/details/107466159转载 2020-09-13 06:01:45 · 68 阅读 · 0 评论 -
zookeeper的一致性级别
写数据,只要大多数节点写成功,则表示写成功,但是此时客户端读取数据时,如果是从那些没写成功的节点读取数据,则读取不到新写入的数据。。。这个能算是强一致性吗?这篇文章说zookeeper是顺序一致性的,请看:https://juejin.im/post/5d5a2aa6f265da03b2153816...原创 2020-06-27 20:30:09 · 289 阅读 · 0 评论 -
hadoop hdfs secondaryNameNode什么时候合并editslog和fsimage文件(checkpoint的时机)
1、checkpoint定时时间到了2、editslog文件的数据满了(达到指定大小)原创 2019-10-10 11:59:04 · 340 阅读 · 0 评论 -
十、Hadoop HA集群搭建过程(也可以下载文件)
环境:三台虚拟机,centos7,hadoop2.9.2,zookeeper3.41、zookeeper集群2、hadoop-env配置java_home路径(每个节点都要配置为这个节点所在及其的java home路径)3、配置core-site.xml <!-- hdfs集群使用名称为mycluster的集群,在hdfs-site中配置的nameservices -->...原创 2019-07-06 00:47:14 · 187 阅读 · 0 评论 -
利用Zookeeper实现分布式共享锁与排它锁
https://blog.csdn.net/zhutulang/article/details/77429851https://www.cnblogs.com/coshaho/p/6995558.html转载 2019-06-29 22:32:48 · 503 阅读 · 0 评论 -
zookeeper的角色
1、leader,领导者、主节点描述:一个zookeeper集群同一时刻只有一个leader,leader宕机了,会有其他follower节点进行投票,从follower节点中重新选一个作为leader。作用:客户端向zookeeper集群中写数据时,不论一开始向哪个节点请求写数据,这个写数据的请求都会被其他节点转发给leader节点进行处理。处理过程大致如下:leader提出建议,然...原创 2019-06-29 00:54:38 · 715 阅读 · 0 评论 -
Zookeeper伸缩性,Observer
https://blog.csdn.net/gangsijay888/article/details/82426540转载 2019-06-29 00:35:44 · 163 阅读 · 0 评论 -
zookeeper原理
https://blog.csdn.net/lingbo229/article/details/81052078转载 2019-06-26 23:26:46 · 88 阅读 · 0 评论 -
zookeeper单机配置
一、在conf的zoo.cfg文件中配置:1、dataDir用于配置当前节点存储数据的目录(需要先创建好,zookeeper不会去创建)2、clientPort用于指定客户端访问zookeeper时的端口三、启动1、在zookeeper的bin目录下执行zkServer.sh start启动该节点(如果是在windows上,则是执行zkServer.cmd就行,...原创 2019-06-04 23:25:52 · 259 阅读 · 0 评论 -
zookeeper集群配置
一、在conf的zoo.cfg文件中配置:1、dataDir用于配置当前节点存储数据的目录(需要先创建好,zookeeper不会去创建)2、clientPort用于指定客户端访问zookeeper时的端口(zookeeper集群的每个节点最好都要一样)3、用server.id指定zookeeper集群中的所有节点,如果有多个节点就用server.id2、server.id3以此...原创 2019-06-03 23:47:48 · 229 阅读 · 0 评论 -
八、Intellij IDEA远程向hadoop集群提交mapreduce作业
其实对比单机版,差别不是很大。用阿里云的时候别忘了把所有端口都打开。。因为有些代码还是在windows运行,而有些端口貌似是不固定的,应该可以配置成固定的,但我偷懒了,就让hadoop自己随机吧。。我把linux端口全打开。(1)job代码: //hdfs操作文件系统的用户名,避免在windows下使用默认用户名对hdfs没有修改权限 System.s...原创 2019-06-09 22:32:01 · 595 阅读 · 0 评论