HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接] 韩克拉玛寒 韩克拉玛寒 当前离线 积分2439. 窥视卡 雷达

最新推荐文章于 2022-07-12 15:50:51 发布
最新推荐文章于 2022-07-12 15:50:51 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据

HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

[复制链接]
  
韩克拉玛寒

40

主题

348

帖子

2439

积分

高级会员

Rank: 4

高级会员, 积分 2439, 距离下一级还需 2561 积分

高级会员, 积分 2439, 距离下一级还需 2561 积分
积分
2439

最佳新人活跃会员
跳转到指定楼层
楼主
发表于 2015-3-13 09:05:30 | 只看该作者 | 只看大图 回帖奖励 | 倒序浏览 | 阅读模式
捐助：about云零基础学习hadoop2.x视频（hadoop系列及机器学习storm、spark视频）
id="cproIframe_u1728839_3" height="240" marginheight="0" src="http://pos.baidu.com/acom?adn=4&at=160&aurl=&cad=1&ccd=32&cec=gb2312&cfv=18&ch=0&col=zh-cn&conOP=0&cpa=1&dai=3&dis=0&layout_filter=rank%2Cimage&ltr=http%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DhncttQQrM1KZkOvSU3wrwB6ZTVWAN-Q2p4qm0a-zItGvGdnZHsykwphIzGPMjzaSfyC-dJ5Vpyrd79L_5xc1Wa%26wd%3D%26eqid%3D89a091f90000f5640000000455c5822d&ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-11909-1-1.html&lunum=6&n=92051019_cpr&pcs=995x544&pis=10000x10000&ps=621x954&psr=1920x1080&pss=1010x1000&qn=ac840e71de40c278&rad=&rsi0=120&rsi1=240&rsi5=4&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000ff&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=tabcloud_skin_3&stid=5&td_id=1728839&tn=text_default_120_240&tpr=1439007317156&ts=1&version=2.0&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u1728839&ti=HBase%2BZooKeeper%2BHadoop2.6.0%E7%9A%84ResourceManager%20HA%E9%9B%86%E7%BE%A4%E9%AB%98%E5%8F%AF%E7%94%A8%E9%85%8D%E7%BD%AE-%E5%A4%A7%E6%95%B0%E6%8D%AE%EF%BC%88ha&tt=1439007316984.1500.1547.1547" frameborder="0" width="120" allowtransparency="" marginwidth="0" scrolling="no" align="center,center">

问题导读：
        0、了解常规JDK安装以及Linux系统配置
        1、了解集群规划以及集群场景
        2、熟悉HBase的集群搭建
        3、熟悉ZooKeeper集群搭建
        4、熟悉Hadoop2.6.0版本HA集群搭建
        5、验证HBase、ZooKeeper、Hadoop等集群运行情况



参考 ：Hadoop2.4的ResourceManager HA高可用配置
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA


注意：apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译
(64位系统hadoop2.6.0编译前准备工作，请参考：Hadoop-2.6.0在Centos6.5 64位系统编译前准备工作 )



1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等


集群规划：
主机名        IP        安装的软件        运行的进程
  1. Master        192.168.1.201        jdk、hadoop        NameNode、DFSZKFailoverController(zkfc)
  2. Slave1        192.168.1.202        jdk、hadoop        NameNode、DFSZKFailoverController(zkfc)
  3. Slave2        192.168.1.203        jdk、hadoop        ResourceManager
  4. Slave3        192.168.1.204        jdk、hadoop        ResourceManager
  5. Slave4        192.168.1.205        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
  6. Slave5        192.168.1.206        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
  7. Slave6        192.168.1.207        jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
复制代码


说明：

1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态

2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

安装步骤：
1.安装配置zooekeeper集群（在Slave4上）
1.1解压
  1. [root@Master local]#tar -zxvf    zookeeper-3.4.6.tar.g-C /usr/local/
  2. [root@Master local]#mv zookeeper-3.4.6/ zookeeper
复制代码

1.2修改配置
  1. [root@Master local]#cd /usr/local/zookeeper/conf/
  2. [root@Master local]#cp zoo_sample.cfg zoo.cfg
  3. [root@Master local]#vim zoo.cfg
复制代码

修改：
  1. dataDir=/itcast/zookeeper/zkData
复制代码

在最后添加：
  1. server.1=Slave4:2888:3888
  2. server.2=Slave5:2888:3888
  3. server.3=Slave6:2888:3888
复制代码

保存退出
然后创建一个tmp文件夹
  1. [root@Master local]#mkdir /usr/local/zookeeper/zkData
复制代码

再创建一个空文件
  1. [root@Master local]#touch /usr/local/zookeeper/zkData/myid
复制代码

最后向该文件写入ID
  1. [root@Master local]#echo 1 > /usr/local/zookeeper/zkData/myid
复制代码

1.3将配置好的zookeeper拷贝到其他节点(首先分别在Slave5、Slave6根目录：/usr/local/)
  1. [root@Master local]#scp -r /usr/local/zookeeper/ Slave5:/usr/local/
  2. [root@Master local]#scp -r /usr/local/zookeeper/ Slave6:/usr/local/
复制代码

注意：修改Slave5、Slave6对应/usr/local/zookeeper/zkData/myid内容
  1. Slave5：
  2. [root@Master local]#echo 2 > /usr/local/zookeeper/zkData/myid
  3. Slave6：
  4. [root@Master local]#echo 3 > /usr/local/zookeeper/zkData/myid
复制代码


2.安装配置hadoop集群（在Master上操作）
2.1解压
  1. [root@Master local]#tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
复制代码

2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
  1. [root@Master local]#vim /etc/profile
  2. export JAVA_HOME=/usr/local/jdk1.7
  3. export HADOOP_HOME=/usr/local/hadoop-2.6.0
  4. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
复制代码

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
  1. [root@Master local]#cd /usr/local/hadoop-2.6.0/etc/hadoop
复制代码

2.2.1修改hadoo-env.sh
  1. export JAVA_HOME=/usr/local/jdk1.7
复制代码

2.2.2修改core-site.xml
  1. <configuration>
  2. <!-- 指定hdfs的nameservice为masters -->
  3. <property>
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://masters</value>
  6. </property>
  7. <!-- 指定hadoop临时目录 -->
  8. <property>
  9. <name>hadoop.tmp.dir</name>
  10. <value>/usr/local/hadoop-2.6.0/tmp</value>
  11. </property>
  12. <!-- 指定zookeeper地址 -->
  13. <property>
  14. <name>ha.zookeeper.quorum</name>
  15. <value>Slave4:2181,Slave5:2181,Slave6:2181</value>
  16. </property>
  17. </configuration>
复制代码

2.2.3修改hdfs-site.xml
  1. <configuration>
  2.         <!--指定hdfs的nameservice为masters，需要和core-site.xml中的保持一致 -->
  3.         <property>
  4.                 <name>dfs.nameservices</name>
  5.                 <value>masters,ns1,ns2,ns3</value>
  6.         </property>
  7.         <!-- Master下面有两个NameNode，分别是Master，Slave1 -->
  8.         <property>
  9.                 <name>dfs.ha.namenodes.masters</name>
  10.                 <value>Master,Slave1</value>
  11.         </property>
  12.         <!-- Master的RPC通信地址 -->
  13.         <property>
  14.                 <name>dfs.namenode.rpc-address.masters.Master</name>
  15.                 <value>Master:9000</value>
  16.         </property>
  17.         <!-- Master的http通信地址 -->
  18.         <property>
  19.                 <name>dfs.namenode.http-address.masters.Master</name>
  20.                 <value>Master:50070</value>
  21.         </property>
  22.         <!-- Slave1的RPC通信地址 -->
  23.         <property>
  24.                 <name>dfs.namenode.rpc-address.masters.Slave1</name>
  25.                 <value>Slave1:9000</value>
  26.         </property>
  27.         <!-- Slave1的http通信地址 -->
  28.         <property>
  29.                 <name>dfs.namenode.http-address.masters.Slave1</name>
  30.                 <value>Slave1:50070</value>
  31.         </property>
  32.         <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  33.         <property>
  34.                 <name>dfs.namenode.shared.edits.dir</name>
  35.                 <value>qjournal://Slave4:8485;Slave5:8485;Slave6:8485/masters</value>
  36.         </property>
  37.         <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  38.         <property>
  39.                 <name>dfs.journalnode.edits.dir</name>
  40.                 <value>/usr/local/hadoop-2.6.0/journal</value>
  41.         </property>
  42.         <!-- 开启NameNode失败自动切换 -->
  43.         <property>
  44.                 <name>dfs.ha.automatic-failover.enabled</name>
  45.                 <value>true</value>
  46.         </property>
  47.         <!-- 配置失败自动切换实现方式 -->
  48.         <property>
  49.                 <name>dfs.client.failover.proxy.provider.masters</name>
  50.                 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  51.         </property>
  52.         <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
  53.         <property>
  54.                 <name>dfs.ha.fencing.methods</name>
  55.                 <value>
  56.                         sshfence
  57.                         shell(/bin/true)
  58.                 </value>
  59.         </property>
  60.         <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  61.         <property>
  62.                 <name>dfs.ha.fencing.ssh.private-key-files</name>
  63.                 <value>/root/.ssh/id_rsa</value>
  64.         </property>
  65.         <!-- 配置sshfence隔离机制超时时间 -->
  66.         <property>
  67.                 <name>dfs.ha.fencing.ssh.connect-timeout</name>
  68.                 <value>30000</value>
  69.         </property>
  70. </configuration>
复制代码



2.2.4修改mapred-site.xml
  1. <configuration>
  2. <!-- 指定mr框架为yarn方式 -->
  3. <property>
  4. <name>mapreduce.framework.name</name>
  5. <value>yarn</value>
  6. </property>
  7. </configuration>
复制代码

2.2.5修改yarn-site.xml
  1. <configuration>
  2.         <!-- 开启RM高可靠 -->
  3.         <property>
  4.                 <name>yarn.resourcemanager.ha.enabled</name>
  5.                 <value>true</value>
  6.         </property>
  7.         <!-- 指定RM的cluster id -->
  8.         <property>
  9.                 <name>yarn.resourcemanager.cluster-id</name>
  10.                 <value>RM_HA_ID</value>
  11.         </property>
  12.         <!-- 指定RM的名字 -->
  13.         <property>
  14.                 <name>yarn.resourcemanager.ha.rm-ids</name>
  15.                 <value>rm1,rm2</value>
  16.         </property>
  17.         <!-- 分别指定RM的地址 -->
  18.         <property>
  19.                 <name>yarn.resourcemanager.hostname.rm1</name>
  20.                 <value>Slave2</value>
  21.         </property>
  22.         <property>
  23.                 <name>yarn.resourcemanager.hostname.rm2</name>
  24.                 <value>Slave3</value>
  25.         </property>
  26.         <property>
  27.                 <name>yarn.resourcemanager.recovery.enabled</name>
  28.                 <value>true</value>
  29.         </property>
  30.          
  31.         <property>
  32.                 <name>yarn.resourcemanager.store.class</name>
  33.                 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  34.         </property>
  35.         <!-- 指定zk集群地址 -->
  36.         <property>
  37.                 <name>yarn.resourcemanager.zk-address</name>
  38.                 <value>Slave4:2181,Slave5:2181,Slave6:2181</value>
  39.         </property>
  40.         <property>
  41.                 <name>yarn.nodemanager.aux-services</name>
  42.                 <value>mapreduce_shuffle</value>
  43.         </property>
  44. </configuration>
复制代码



2.2.6修改slaves(slaves是指定子节点的位置，因为要在Master上启动HDFS、在Slave2启动yarn，所以Master上的slaves文件指定的是datanode的位置，slave2上的slaves文件指定的是nodemanager的位置)
  1. Slave4
  2. Slave5
  3. Slave6
复制代码

2.2.7配置免密码登陆
#首先要配置Master到Slave1、Slave2、Slave3、Slave4、Slave5、Slave6的免密码登陆
#在Master上生产一对钥匙
  1. [root@Master local]#ssh-keygen -t rsa
复制代码

#将公钥拷贝到其他节点，包括自己
  1. [root@Master local]#ssh-copy-id Master
  2. [root@Master local]#ssh-copy-id Slave1
  3. [root@Master local]#ssh-copy-id Slave2
  4. [root@Master local]#ssh-copy-id Slave3
  5. [root@Master local]#ssh-copy-id Slave4
  6. [root@Master local]#ssh-copy-id Slave5
  7. [root@Master local]#ssh-copy-id Slave6
复制代码

#配置Slave2到Slave3、Slave4、Slave5、Slave6的免密码登陆
#在Slave2上生产一对钥匙
  1. [root@Master local]#ssh-keygen -t rsa
复制代码

#将公钥拷贝到其他节点
  1. [root@Master local]#ssh-copy-id Slave3
  2. [root@Master local]#ssh-copy-id Slave4
  3. [root@Master local]#ssh-copy-id Slave5
  4. [root@Master local]#ssh-copy-id Slave6
复制代码

#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置Slave1到Master的免登陆
在Slave1上生产一对钥匙
  1. [root@Master local]#ssh-keygen -t rsa
  2. [root@Master local]#ssh-copy-id -i Master
复制代码

#在Slave3上生产一对钥匙
  1. [root@Master local]#ssh-keygen -t rsa
复制代码

#将公钥拷贝到其他节点
  1. [root@Master local]#ssh-copy-id Slave4
  2. [root@Master local]#ssh-copy-id Slave5
  3. [root@Master local]#ssh-copy-id Slave6
复制代码

2.4将配置好的hadoop拷贝到其他节点
  1. [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave1:/usr/local/
  2. [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave2:/usr/local/
  3. [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave3:/usr/local/
  4. [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave4:/usr/local/
  5. [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave5:/usr/local/
  6. [root@Master local]#scp -r /usr/local/hadoop-2.6.0/ Slave6:/usr/local/
复制代码

###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在Slave4、Slave5、Slave6上启动zk）
  1. [root@Master local]#cd /usr/local/zookeeper/bin/
  2. [root@Master local]#./zkServer.sh start
复制代码

#查看状态：一个leader，两个follower
  1. [root@Master local]#./zkServer.sh status
复制代码

2.6启动journalnode（分别在Slave4、Slave5、Slave6上执行）
  1. [root@Master local]#cd /usr/local/hadoop-2.6.0/sbin
  2. [root@Master local]#sbin/hadoop-daemon.sh start journalnode
复制代码

#运行jps命令检验，Slave4、Slave5、Slave6上多了JournalNode进程

2.7格式化HDFS
#在Master上执行命令:
  1. [root@Master local]#hdfs namenode -format
复制代码

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/hadoop-2.6.0/tmp，
然后将/usr/local/hadoop-2.6.0/tmp拷贝到Slave1的/usr/local/hadoop-2.6.0/下。
  1. [root@Master local]#scp -r tmp/ Slave1:/usr/local/hadoop-2.6.0/
复制代码

2.8格式化ZK(在Master上执行即可)
  1. [root@Master local]#hdfs zkfc -formatZK
复制代码

2.9启动HDFS(在Master上执行)
  1. [root@Master local]#sbin/start-dfs.sh
复制代码

2.10启动YARN(#####注意#####：是在Slave2上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
  1. [root@Master local]#Slave2:${HADOOP_HOME}/sbin/start-yarn.sh
  2. [root@Master local]#Slave3:${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
复制代码

到此，hadoop-2.6.0配置完毕，可以统计浏览器访问:
  1. http://192.168.80.100:50070
  2. NameNode 'Master:9000' (active)
  3. http://192.168.80.101:50070
  4. NameNode 'Slave1:9000' (standby)
复制代码

验证HDFS HA
首先向hdfs上传一个文件
  1. [root@Master local]#hadoop fs -put /etc/profile /profile
  2. [root@Master local]#hadoop fs -ls /
复制代码

然后再kill掉active的NameNode
  1. [root@Master local]#kill -9 <pid of NN>
复制代码

通过浏览器访问：http://192.168.80.101:50070
NameNode 'Slave1:9000' (active)
这个时候Slave1上的NameNode变成了active
在执行命令：
  1. [root@Master local]#hadoop fs -ls /
  2. -rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
复制代码

刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
  1. [root@Master local]#sbin/hadoop-daemon.sh start namenode
复制代码

通过浏览器访问：http://192.168.80.101:50070
  1. NameNode 'Master:9000' (standby)
复制代码

验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
  1. [root@Master local]#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out
复制代码

hadoop HA集群搭建完成



  hbase-0.98.9-hadoop2  搭建
4.1 解压缩，并重命名
  1. [root@Master local]#mv  hbase-**   hbase
复制代码

修改环境变量：
  1. export HBASE_HOME=/usr/local/hbase
  2. export PATH= .:$PATH:$HBASE_HOME/bin:
复制代码

保存，退出。  执行 source /etc/profile  生效
4.1 修改HBase的配置文件#HBASE_HOME/conf/hbase-env.sh 修改内容如下：
  1. export JAVA_HOME=usr/local/jdk/
  2. export HBASE_MANAGES_ZK=true   //HBase是否管理它自己的ZooKeeper的实例。
复制代码

保存，退出。
4.2 修改HBase的配置文件#HBASE_HOME/conf/hbase-site.xml，修改内容如下：
  1. <property>
  2. <name>hbase.rootdir</name>
  3. <value>hdfs://Master:9000/hbase</value>
  4. </property>
  5. <property>
  6. <name>hbase.cluster.distributed</name>
  7. <value>true</value>
  8. </property>
  9. <property>
  10. <name>hbase.zookeeper.quorum</name>
  11. <value>Master</value>
  12. </property>
  13. <property>
  14. <name>dfs.replication</name>
  15. <value>3</value>
  16. </property>
复制代码

注意：$HBASE_HOME/conf/hbase-site.xml的hbase.rootdir的主机和端口号与$HADOOP_HOME/conf/core-site.xml的fs.default.name的主机和端口号一致
4.3 (可选)文件  regionservers 的内容修改为Master.

4.4 执行目录到../bin ，执行命令  start-hbase.sh
******启动hbase之前，确保hadoop是运行正常的。并且可以写入文件。
4.5 验证：(1)执行jps，发现新增加了3个Havana进程，分别是HMaster、HRegionServer、HQuorumPeer (HQuorumPeerMain 是ZooKeeper的进程 )
备注:启动HBase时，请先执行  /usr/local/zookeeper/bin zkServer.sh stop 停止ZooKeeper的进程,以免hbase启动失败。

(2)通过浏览器查看：  http://masters:60010

5.HBase的集群安装(在原来的Master上的hbase伪分布基础上搭建)：
5.1 集群结构，主节点(hmaster)是Master，从节点(region server)是Slave1,Slave2,Slave3.
5.2 修改hadoop0上的hbase的几个文件
(1)修改hbase-env.sh 最后一行 export  HBASE_MANAGES_ZK=false.
(2)修改hbase-site.xml文件的hbase.zookeeper.quorum的值为Master,Slave1,Slave2,Slave3 。
(3)修改regionservers文件(存放的 region server的hostname),内容修改成Slave1,Slave2,Slave3 。
5.3 复制Master中的hbase到Slave1,Slave2,Slave3的对应目录下,并复制、Master 的/etc/profile文件到hadoop1 、hadoop2 中。
  1. [root@Master local]#scp -r hbase Slave1:/usr/local/
  2. [root@Master local]#scp -r /etc/profile  Slave1:/etc/profile
  3. [root@Master local]#source /etc/profile
复制代码

5.4 在HA集群中，首先各个节点启动ZooKeeper集群，其次 Master中启动hadoop集群，最后在Master上启动hbase集群。

6.测试Hbase是否启动正常：
1) 在Master主机中执行jps，查看进程。会新增一个 HMaster 进程
2) 在regionserver 中执行  jps，新增 HRegionServer。

7.执行hbase脚本命令：
  1. [root@Slave2 local]#  hbase shell
复制代码


javastart
关注
专栏目录
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
hadoop+hbase+zookeeper集群配置流程及文件
08-28
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例，而`配置文件.rar`则可能包含了预设的配置模板，可以作为配置参考。在实际操作时，务必根据具体环境调整配置，确保所有节点之间的网络...
hadoop, hbase, zookeeper集群搭建
fish的专栏
10-24 1988
三台机器，一台master （角色：namenode, hbase master, zookeeper）, 两台slave(s1,s2) （角色：datanode, hbase region server, zookeeper），  每台机器上设置： 在/etc/hosts中设置名字解析: 192.168.1.2  master 192.168.1.3  s1 192.168.1.4
Hadoop集群和hbase集群和zookeeper集群搭建
小码农的博客
03-20 495
Hadoop集群和hbase集群和zookeeper集群搭建 机器安装jdk 这个参考其它文档 说明一下我是三台主机三台主机的ip是 第一台 ：xx.xx.xx.171 第二台 ：xx.xx.xx.172 第三台 ：xx.xx.xx.173 配置主机映射 （三台机器上面都需要修改） 1.修改 hosts vi /etc/hosts 我的配置如下 说明一下 ：我的node171 是我自定义的，但是用 node 171的时候 hbase 连接zookeeper报错 所以 我给后面加了 m171
hadoop集群基础上安装ZooKeeper和HBase
ASN_forever的博客
08-08 2980
之前的文章已经介绍了如何搭建hadoop集群，以及在hadoop集群之上搭建spark集群。可以点击如下链接查看： 一、centos7+hadoop2.8.0+VMware搭建完全分布式集群 二、hadoop完全分布式基础上搭建spark集群 本篇文章记录的是在上述hadoop集群上安装HBase和ZooKeeper的过程，以备后续参考！ 软件版本和系统环境 ①HBase，1.2.5，下...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/wx2007xing/article/details/88710235 一、 环境说明 主机名 Zookeeper ...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
分布式集群环境hadoop、hbase、zookeeper搭建（全）
weixin_30576859的博客
06-08 240
1、环境说明 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP 新建用户 新建用户密码 Master 10.10.10.213 hadoop 123456 Slave1 10.10.10.214 hadoo...
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
04-14
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用，详细讲解ZooKeeper的原来和使用方法。
hadoop+hbase+zookeeper
qq_41050475的博客
07-12 614
hadoop+hbase+zookeeper
学习搭建Hadoop+HBase+ZooKeeper分布式集群环境
weixin_33857679的博客
03-15 235
一、环境配置由于集群至少需要三台服务器，我就拿上次做的MongoDB Master, Slave, Arbiter环境来做Hadoop集群。服务器还是ibmcloud 免费提供的。其中Arbiter在这里做的也是slave的角色。HostnameIPServer TypeMaster192.168.0.28Centos6.2Slave192.168.0.29Ubuntu14...
HBase --集群环境搭建
kismet
12-11 1610
注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 下载对应的HBase的安装包： 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.co...
hadoop,zookeeper,hbase之间的关系
weixin_40732165的博客
07-16 1608
Hadoop篇 hadoop是分布式系统的一个文件系统，主要有3部分分别是hdfs，yarn，mapreduce hdfs hdfs是hadoop管理储存的实现。 hdfs概念 数据块：就像单机系统（一台PC）上的数据块一样，提供磁盘读写的最小单位，也就是磁盘读某个数据时会把改块的数据一次性全部读入。不过单机系统上的数据块大小为512字节，hdfs数据块大小为128MB。 namenode和datanode：分布式系统储存和单机储存另一个不同就是，读取/写入某个数据时，分布式系统需要确定这个数据放在哪个主机
hadoop+hbase+zookeeper分布式集群搭建
~单人舞~的博客
04-02 1299
Hadoop+Hbase+Zookeeper分布式集群搭建 1.安装前的准备 一台虚拟机CentOS7，配置好环境变量、装配好jdk，对其进行克隆，一共3台虚拟机 2.分配好ip地址 -192.168.8.128 master -192.168.8.129 slave1 -192.168.8.130 slave2 2.软件...
Hadoop+HBase+ZooKeeper分布式集群环境搭建
Emil的博客
10-15 708
Hadoop+HBase+ZooKeeper分布式集群环境搭建 概述 安装准备 1.1 软件系统清单 1.2 IP 地址配置清单 准备工作 2.1 关闭防火墙 2.2 安装JDK 2.3 添加Hosts映射关系 2.4 集群之间SSH无密码登陆 Hadoop集群安装配置 3.1 安装置配置Hadoop 3.1.1 安装Hadoop 3.1.2 配置core-site.xml 3.1.3 配置ha...
在hadoop2.8的HA+zookeeper的环境下安装分布式HBase 1.2.5 以及HMaster的高可用(HA)
暗黑世界
06-07 5401
书接上回http://write.blog.csdn.net/postedit http://write.blog.csdn.net/postedit 在上次我们搭建了hadoop2.8的高可用NameNode的HA环境，并引入了zookeeper 这次我们要在这个环境的基础上搭建hbase 先说规划 编号 主机名 用途 0 xxC
hadoop、zookeeper、hbase完全分布式安装
qq_44817196的博客
02-03 495
卡了半个月的事，还是要记录一下才对得起呢。 介绍一下，本机三台学生服务器，两台位于腾讯云、一台位于阿里云。 在安装之前，先对自己的服务器ip进行配置。这里要写清楚，特别对我这种服务器小萌新。 首先先把各个服务器的hostname改为hadoop0x。 在第一个节点上编辑： vim /etc/hostname 在第二个节点上编辑： vim /etc/hostname 第三第四都是这样做。 开始编辑各个服务器的ip。 在每个服务器上： vim /etc/hosts 如图，127那些可以不用删掉，对我
Ubuntu环境下Hadoop+HBase+Zookeeper集群配置实战
本文档提供了一个Hadoop集群的安装和配置指南，特别强调了Hadoop 2.2.0、HBase 0.96和Hive 0.13的组合是最佳选择。在Ubuntu 10.04.2 Desktop环境下，使用了Hadoop 0.20.2、HBase 0.20.6、Zookeeper 3.3.3和JDK 1.6....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值