![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
[全村的希望]
脚踏实地,勤奋努力
展开
-
Hadoop集群搭建
HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有 NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (mapreduce其实是一个应用程序开发包) 本集群以3节点为例进行搭建,角色分配如下 hdp-node-01 NameNode SecondaryNameNode...原创 2020-06-14 20:18:13 · 121 阅读 · 0 评论 -
使用java api连接zookeeper进行增删改查操作
对zookeeper进行操作之前,我要先说说我对zookeeper的理解 zookeeper是一个分布式协调服务,为用户的分布式应用程序提供协调服务,它本省就是一个分布式程序(只要有半数以上节点存货,zk就可以正常提供服务),虽然可以提供各种服务,但zookeeper在底层只提供了两个功能 1:管理(存储,读取)用户程序提交的数据 2:监听,为用户程序提供数据节点监听服务 zookeepe...原创 2019-12-13 17:39:57 · 272 阅读 · 0 评论 -
Linux上zookeeper集群启动脚本
之前自己搭建了zookeeper集群,但是每次启动的时候都要一台一台服务器上去启动,比较麻烦,于是我自己写了个zookeeper启动脚本 首先,我自己在root跟目录下使用mkdir命令新建一个bin目录,然后使用vim startSkServer.sh来编辑脚本文件(大家在写脚本的时候最好在每台服务器上配置下zoopeeper的环境变量,不过在安装的时候应该都已经配置好了) #!/bin/s...原创 2019-12-11 13:43:19 · 477 阅读 · 0 评论