4.2 Hadoop分布式文件系统_HDFS高可用 yarn集群资源管理器高可用 HBase分布式部署 分布式计算

最新推荐文章于 2023-10-08 16:54:24 发布
最新推荐文章于 2023-10-08 16:54:24 发布
阅读量276 收藏 1
点赞数
分类专栏： 企业实战 文章标签： 分布式 大数据 hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47133613/article/details/116138001
版权

文章目录


4.1 Hadoop分布式文件系统_伪分布式 完全分布式 集群搭建 热添加

5. 分布式计算

工作原理：*******（只是一个简单的调度）

管理器方便作业调度，资源调度
RM：只是做单纯的资源调度和管理，不需要做任何的负载
NM：YARN运行的位置，每个NM管理自己上面的资源，会将本机的状态持续的发送给RM，这样RM就知道每个NM上都有哪些资源
AM：获取整个YARN的进度，不需要用户再去访问RM。YARN在运行时，会发送心跳信息给AM，汇报进度

  1. 编辑mapreduce的配置文件
[hadoop@server21 ~]$ cd hadoop/etc/hadoop/
[hadoop@server21 hadoop]$ vim mapred-site.xml 
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.application.classpath</name>
                <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
        </property>
</configuration>
  1. 编辑hadoop启动脚本
[hadoop@server21 hadoop]$ vim hadoop-env.sh 
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop

在这里插入图片描述

  1. 编辑管理器的配置文件
[hadoop@server21 hadoop]$ vim yarn-site.xml 
<configuration>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCATHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>

</configuration>
  1. 启动管理器，NameNode会启动一个ResourceManager进程（资源管理器）
[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server21 hadoop]$ sbin/start-yarn.sh 
Starting resourcemanager
Starting nodemanagers
server24: Warning: Permanently added 'server24,172.25.21.24' (ECDSA) to the list of known hosts.
[hadoop@server21 hadoop]$ jps
17752 SecondaryNameNode
17562 NameNode
19101 Jps
18974 ResourceManager
  1. DataNode会启动一个节点管理器
[hadoop@server22 ~]$ jps
15536 Jps
15442 NodeManager
4698 DataNode

在这里插入图片描述

6. NN名字节点（hdfs）的高可用

6.1 准备工作：添加一个新的DataNode

JN：日志节点，
生产环境建议将NN和RM分离，NN本身就是一个资源管理器（占用很多的资源），RM负责资源调度，消耗的资源也很多。
如果二者在一起运行，有可能会发生争抢资源的情况

本实验将NN和RM合并
server2~4：最小化的集群，日志节点、zk节点、DN、NM管理器的NM节点合并在一起
server1和server5做高可用的master和backup：故障切换控制器、RM、NN

（注意，因为宿主主机只有8G的内存，所以，在添加新的虚拟机时，需要合理分配内存）
NameNode ——> 2G
DataNode ——> 1G
在这里插入图片描述在这里插入图片描述在这里插入图片描述

  1. 写本地解析文件
[root@server25 ~]# vim /etc/hosts
  1. 创建普通用户
[root@server25 ~]# useradd hadoop
  1. 安装NFS
[root@server25 ~]# yum install -y nfs-utils
  1. 挂载NameNode的共享目录/home/hadoop
[root@server25 ~]# mount 172.25.21.21:/home/hadoop /home/hadoop
[root@server25 ~]# df
Filesystem                1K-blocks    Used Available Use% Mounted on
/dev/mapper/rhel-root      17811456 1164528  16646928   7% /
devtmpfs                    1011448       0   1011448   0% /dev
tmpfs                       1023468       0   1023468   0% /dev/shm
tmpfs                       1023468   16996   1006472   2% /run
tmpfs                       1023468       0   1023468   0% /sys/fs/cgroup
/dev/vda1                   1038336  135076    903260  14% /boot
tmpfs                        204696       0    204696   0% /run/user/0
172.25.21.21:/home/hadoop  17811456 3206912  14604544  19% /home/hadoop
[root@server25 ~]# su - hadoop

6.2 准备工作：清理操作

  1. 因为刚刚做了分布式计算的实验，所以，在做高可用实验时，需要清理一次数据
[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server21 hadoop]$ sbin/stop-yarn.sh 
Stopping nodemanagers
server22: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
server24: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
server23: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9
Stopping resourcemanager
[hadoop@server21 hadoop]$ jps
19525 Jps
17752 SecondaryNameNode
17562 NameNode

DataNode的进程情况如下

[hadoop@server22 ~]$ jps
15536 Jps
15442 NodeManager
4698 DataNode
[hadoop@server22 ~]$ jps
15695 Jps
4698 DataNode
  1. 关闭Hadoop
[hadoop@server21 hadoop]$ sbin/stop-dfs.sh 
Stopping namenodes on [server21]
Stopping datanodes
Stopping secondary namenodes [server21]
[hadoop@server21 hadoop]$ jps
19949 Jps

DataNode的进程情况如下

[hadoop@server22 ~]$ jps
15695 Jps

[hadoop@server23 ~]$ jps
15414 Jps

[hadoop@server24 hadoop]$ jps
15656 Jps
  1. 因为做了之前的实验（完全分布式和分布式计算），Hadoop会在/tmp目录下生成很多的临时数据，所以，在做高可用实验时，我们需要清空之前的数据
    （NameNode和DataNode都需要进行清理操作）
[hadoop@server21 hadoop]$ rm -fr /tmp/*

[hadoop@server22 ~]$ rm -fr /tmp/*

[hadoop@server23 ~]$ rm -fr /tmp/*

[hadoop@server24 hadoop]$ rm -fr /tmp/*

6.3 准备工作：安装zookeeper，搭建ZK集群

搭建的ZK集群至少3台

注意：集群通常是奇数的，不要使用偶数个

  1. 安装zookeeper
[hadoop@server21 ~]$ tar zxf zookeeper-3.4.9.tar.gz
  1. 拷贝生成zookeeper的主配置文件
[hadoop@server21 ~]$ cd zookeeper-3.4.9/conf/
[hadoop@server21 conf]$ ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[hadoop@server21 conf]$ cp zoo_sample.cfg zoo.cfg
  1. 修改配置文件：设定3个集群节点
    写入DataNode对应的IP
    DataNode1的IP是172.25.21.22
    这里的server1不是域名是server1，是服务器编号
    服务器1的IP是172.25.21.22
  • 2888：用于集群节点之间的同步和其他通信（通信端口）
  • 3888：用于集群节点之间leader的选举（选举端口）

设定这2个端口，是为了选出一个节点作为leader，其余的2个节点作为follower

[hadoop@server21 conf]$ vim zoo.cfg 
server.1=172.25.21.22:2888:3888
server.2=172.25.21.23:2888:3888
server.3=172.25.21.24:2888:3888

在这里插入图片描述

  1. 在DataNode（server22）上创建一个数据目录
    同时还需要在这个数据目录里面创建一个文件myid，将节点ID号写入到临时目录zookeeper/myid中
    （后面的server23，server24进行同样的操作）
[hadoop@server22 ~]$ mkdir /tmp/zookeeper
[hadoop@server22 ~]$ echo 1 > /tmp/zookeeper/myid

[hadoop@server23 ~]$ mkdir /tmp/zookeeper
[hadoop@server23 ~]$ echo 2 > /tmp/zookeeper/myid

[hadoop@server24 hadoop]$ mkdir /tmp/zookeeper
[hadoop@server24 hadoop]$ echo 3 > /tmp/zookeeper/myid
  1. server22启动zookeeper，并查看该节点的身份（启动3个节点）
    根据提示，选举server22为follower
[hadoop@server22 ~]$ cd zookeeper-3.4.9/
[hadoop@server22 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@server22 ~]$ cd zookeeper-3.4.9/
[hadoop@server22 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower
  1. server23启动zookeeper，并查看该节点的身份（启动3个节点）
    根据提示，选举server23是leader
[hadoop@server23 ~]$ cd zookeeper-3.4.9/
[hadoop@server23 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@server23 ~]$ cd zookeeper-3.4.9/
[hadoop@server23 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader
  1. server23启动zookeeper（启动3个节点）
[hadoop@server24 ~]$ cd zookeeper-3.4.9/
[hadoop@server24 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
  1. 命令jps查看当前的进程
[hadoop@server22 zookeeper-3.4.9]$ jps
15768 Jps
15741 QuorumPeerMain

[hadoop@server23 zookeeper-3.4.9]$ jps
15452 QuorumPeerMain
15485 Jps

6.4 分布式集群

  1. 编辑核心配置文件（修改2处内容）
    （1）为了完成高可用的配置（server1挂了之后，server5进行接管），在核心配置文件中NN地址不能固定设置，应该写masters
    （注意，这里不支持指定端口，因为在hdfs的配置文件中，会单独的指定）
    （注意，这里到底server1是master，还是server5是master，取决于二者谁写入数据 ）
    （2）还要告诉masters，ZK集群的位置在哪里
[hadoop@server21 ~]$ cd hadoop/etc/hadoop/
[hadoop@server21 hadoop]$ vim core-site.xml 
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://masters</value>
        </property>
<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.21.22:2181,172.25.21.23:2181,172.25.21.24:2181</value>
</property>
</configuration>
  1. 编辑hdfs分布式文件系统

（1）设置副本数为3

        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

（2）指定HDFS的masterservices为masters，必须和核心配置文件中的设置保持一致

	<property>
		<name>dfs.nameservices</name>
		<value>masters</value>
	</property>

（3）定义master两台机器的名字，这里我定义的是h1和h2（masters下面有2个节点）

	<property>
		<name>dfs.ha.namenodes.masters</name>
		<value>h1,h2</value>
	</property>

（4）告诉HDFS，h1是谁，它的通信端口rpc是多少

	<property>
		<name>dfs.namenode.rpc-address.masters.h1</name>
		<value>172.25.21.21:9000</value>
	</property>

（5）告诉HDFS，h1是谁，它的通信地址http是多少（修改成9870）

	<property>
		<name>dfs.namenode.http-address.masters.h1</name>
		<value>172.25.21.21:50070</value>
	</property>

（6）告诉HDFS，h2是谁，它的通信端口rpc是多少

	<property>
		<name>dfs.namenode.rpc-address.masters.h2</name>
		<value>172.25.21.25:9000</value>
	</property>

（7）告诉HDFS，h2是谁，它的通信地址http是多少（修改成9870）

	<property>
		<name>dfs.namenode.http-address.masters.h2</name>
		<value>172.25.21.25:50070</value>
	</property>

（8）设定日志节点（本实验，日志节点和ZK节点在一起）

	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://172.25.21.22:8485;172.25.21.23:8485;172.25.21.24:8485/masters</value>
	</property>

（9）日志节点在本地磁盘中存储数据的路径，也在/tmp中

	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/tmp/journaldata</value>
	</property>

（10）开启NameNode失败自动切换

	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>

（11）失败的自动切换方式

	<property>
		<name>dfs.client.failover.proxy.provider.masters</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

（12）隔离机制（每个隔离机制占用一行）

	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
		sshfence
		shell(/bin/true)
		</value>
	</property>

（13）免密

	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>

（14）隔离机制的超时时间

	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

汇总

[hadoop@server21 hadoop]$ vim hdfs-site.xml 
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
<property>
<name>dfs.nameservices</name>
<value>masters</value>
</property>
<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.21.21:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.21.21:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.21.25:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.21.25:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.21.22:8485;172.25.21.23:8485;172.25.21.24:8485/masters</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value></property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
  1. 启动日志节点
    注意，这里需要按照顺序启动
    先是ZK集群（前面已经启动了）
    再启动日志节点（如果第一次启动hdfs，那么必须先启动日志节点journalnode）
[hadoop@server22 ~]$ cd hadoop/
[hadoop@server22 hadoop]$ bin/hdfs --daemon start journalnode

[hadoop@server23 ~]$ cd hadoop
[hadoop@server23 hadoop]$ bin/hdfs --daemon start journalnode

[hadoop@server24 ~]$ cd hadoop
[hadoop@server24 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server24 hadoop]$ jps
15781 JournalNode
15799 Jps
15704 QuorumPeerMain
  1. 再启动hdfs集群

（1）先格式化（注意，上面启动日志节点后，连接有些慢，这样会导致格式化出现差错，多格式化几次就好。但也要注意，如果格式化次数不合适，会导致NameNode上面的ID号和DataNode记录的NameNode号不一致）

[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server21 hadoop]$ bin/hdfs namenode -format

（2）将server1的数据拷贝到server5上

[hadoop@server21 hadoop]$ scp -r /tmp/hadoop-hadoop 172.25.21.25:/tmp
The authenticity of host '172.25.21.25 (172.25.21.25)' can't be established.
ECDSA key fingerprint is SHA256:LVWn1150KPf3FC+madPS/iM7eKo3b88fRxvOHhGk7fM.
ECDSA key fingerprint is MD5:dd:77:bf:39:3f:b3:db:db:e4:9c:6b:27:a0:4e:97:63.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.25.21.25' (ECDSA) to the list of known hosts.
VERSION                                                             100%  216   128.9KB/s   00:00    
seen_txid                                                           100%    2     3.2KB/s   00:00    
fsimage_0000000000000000000.md5                                     100%   62    98.1KB/s   00:00    
fsimage_0000000000000000000                                         100%  401   567.8KB/s   00:00    
[hadoop@server21 hadoop]$ ssh server25

（3）格式化ZK
zkfc故障控制器

[hadoop@server21 hadoop]$ bin/hdfs zkfc -formatZK

在这里插入图片描述

在这里插入图片描述

（4）server23是leader
通过该脚本，可以查看到目前是谁（server1还是server5）写入，作为当前的maseter

[hadoop@server23 zookeeper-3.4.9]$ bin/zkCli.sh

（5）启动hdfs
注意，一旦启动高可用，之前的SecondNameNode就会退化

[hadoop@server21 hadoop]$ sbin/start-dfs.sh 
Starting namenodes on [server21 server25]
Starting datanodes
Starting journal nodes [server22 server24 server23]
server22: journalnode is running as process 15833.  Stop it first.
server24: journalnode is running as process 15781.  Stop it first.
server23: journalnode is running as process 15546.  Stop it first.
Starting ZK Failover Controllers on NN hosts [server21 server25]
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
20743 Jps
20334 NameNode

注意，一旦启动高可用，之前的SecondNameNode就会退化

[hadoop@server25 ~]$ jps
4742 NameNode
4809 DFSZKFailoverController
4894 Jps

（现在server21是master）
现在server21是active，而server25是standby
在这里插入图片描述在这里插入图片描述

故障模拟

  1. 先上传一些文件，方便模拟故障
[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server21 hadoop]$ bin/hdfs dfs -mkdir /user
[hadoop@server21 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
[hadoop@server21 hadoop]$ bin/hdfs dfs -put demo 
2021-04-24 17:14:08,903 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2021-04-24 17:14:13,543 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
  1. kill了NameNode之后，依旧可以访问到之前上传的数据，因为server5已经接管
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
21237 Jps
20334 NameNode
[hadoop@server21 hadoop]$ kill 20334
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
21256 Jps
[hadoop@server21 hadoop]$ bin/hdfs dfs -ls
Found 1 items
-rw-r--r--   3 hadoop supergroup  209715200 2021-04-24 17:14 demo
[hadoop@server25 ~]$ jps
15684 Jps
4742 NameNode
4809 DFSZKFailoverController
  1. 在ZK集群的leader中可以查看到当前的master是server5

在这里插入图片描述

在这里插入图片描述

  1. 恢复server21
[hadoop@server21 hadoop]$ bin/hdfs --daemon start namenode
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
21429 Jps
21383 NameNode

在这里插入图片描述

7. RM资源管理器（yarn）的高可用

  1. 编辑yarn-site.xml

（1）激活RM的高可用

	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>

（2）定义集群的名字

	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>RM_CLUSTER</value>
	</property>

（3）定义RM的节点

	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>

（4）指定RM1的地址

	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>172.25.21.21</value>
	</property>

（5）指定RM1的地

	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>172.25.21.25</value>
	</property>

（6）激活RM自动回复功能

	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>

（7）配置RM状态存储信息方式（内存存储，ZK存储）

	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>

汇总

[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop/etc/hadoop
[hadoop@server21 hadoop]$ vim yarn-site.xml 
<configuration>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCATHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.21.21</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.21.25</value>
</property>

<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.21.22:2181,172.25.21.23:2181,172.25.21.24:2181</value>
</property>

</configuration>
  1. 启动yarn服务；
    server21和server25上启动了ResourceManager；
    其余的server22~24都启动了NodeManager
[hadoop@server21 hadoop]$ sbin/start-yarn.sh 
Starting resourcemanagers on [ 172.25.21.21 172.25.21.25]
Starting nodemanagers
[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
21859 ResourceManager
22180 Jps
21383 NameNode

[hadoop@server24 hadoop]$ jps
16225 NodeManager
16321 Jps
15781 JournalNode
15893 DataNode
15704 QuorumPeerMain
  1. 通过server23的脚本，可以知道当前m1（server21是master）

在这里插入图片描述在这里插入图片描述

模拟故障

  1. 杀死RM，server25接管
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
21859 ResourceManager
22213 Jps
21383 NameNode
[hadoop@server21 hadoop]$ kill 21859
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
21383 NameNode
22231 Jps

在这里插入图片描述在这里插入图片描述

  1. 恢复RM，server21的状态是standby
[hadoop@server21 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server21 hadoop]$ bin/yarn --daemon start resourcemanager
[hadoop@server21 hadoop]$ jps
20690 DFSZKFailoverController
22356 Jps
22310 ResourceManager
21383 NameNode

在这里插入图片描述

8. HBase分布式部署

  1. 安装
[hadoop@server21 ~]$ tar zxf hbase-1.2.4-bin.tar.gz
  1. 修改主配置文件
[hadoop@server21 ~]$ cd hbase-1.2.4/
[hadoop@server21 hbase-1.2.4]$ cd conf/
[hadoop@server21 conf]$ vim hbase-env.sh 
export JAVA_HOME=/home/hadoop/java
export HADOOP_HOME=/home/hadoop/hadoop
export HBASE_MANAGES_ZK=false

在这里插入图片描述在这里插入图片描述

  1. 编辑hbase-site.xml
[hadoop@server21 conf]$ vim  hbase-site.xml
<configuration>

        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://masters/hbase</value>
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>172.25.21.22,172.25.21.23,172.25.21.24</value>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

        <property>
                <name>hbase.master</name>
                <value>h1</value>
        </property>

</configuration>
  1. 写入节点
[hadoop@server21 conf]$ vim regionservers 
server23
server24
server22
  1. server25启动HBase，作为主master
[hadoop@server25 hbase-1.2.4]$ pwd
/home/hadoop/hbase-1.2.4
[hadoop@server25 hbase-1.2.4]$ bin/start-hbase.sh 
starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-server25.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
server24: starting regionserver, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-regionserver-server24.out
server23: starting regionserver, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-regionserver-server23.out
server22: starting regionserver, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-regionserver-server22.out
[hadoop@server25 hbase-1.2.4]$ jps
10135 DFSZKFailoverController
12013 HMaster
12302 Jps
10527 NameNode
11519 ResourceManager
  1. server21作为备用master
[hadoop@server25 hbase-1.2.4]$ bin/hbase-daemon.sh start master
starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-server25.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
[hadoop@server25 hbase-1.2.4]$ jps
16256 Jps
14663 NameNode
14779 DFSZKFailoverController
16141 HMaster
15023 ResourceManager

在这里插入图片描述在这里插入图片描述

模拟故障

  1. 杀死HMaster，server25挂了，server21接管
[hadoop@server25 hbase-1.2.4]$ jps
14663 NameNode
14779 DFSZKFailoverController
16427 Jps
16141 HMaster
15023 ResourceManager
[hadoop@server25 hbase-1.2.4]$ kill 16141

在这里插入图片描述在这里插入图片描述

  1. 故障恢复，server25作为备用master
[hadoop@server25 hbase-1.2.4]$ bin/start-hbase.sh 
starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-server25.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
server23: regionserver running as process 16297. Stop it first.
server24: regionserver running as process 16611. Stop it first.
server22: regionserver running as process 5558. Stop it first.
[hadoop@server25 hbase-1.2.4]$ jps
14663 NameNode
16904 Jps
14779 DFSZKFailoverController
16750 HMaster
15023 ResourceManager

在这里插入图片描述在这里插入图片描述

Outlook(^_^)
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
hadoop 2.4.1集群搭建
zhoujj303030的专栏
07-25 8371
hadoop 2.4.1集群搭建 由于目前使用2.4.1的 http://blog.csdn.net/u010967382/article/details/20380387
Hadoop 分布式集群搭建_部分2.docx
12-04
Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等...
Hadoop分布式云盘系统
10-26
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我的分享、我收到的分享等五大功能模块。其中我的网盘包括查看文件列表，多文件上传，创建文件夹，文件重命名、复制与移动、下载、在线浏览、分享等诸多功能。所使用的技术包括：SpringMVC框架、Spring框架、Maven项目管理工具、Hadoop HDFS文件系统、HBase数据库、openoffice服务、pdf2swf文件格式转换工具、flexpaper插件等。
hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步
weixin_33937913的博客
08-02 176
应大家的强烈要求，现在开源该项目：http://git.oschina.net/weir/weirWQ直接上图片web端用spring mvc4.0.5hadoop+hbase 伪分布实验环境已实现用户注册 登陆网盘管理：上传文件 创建文件夹 修改文件及文件夹 分享文件及文件夹 删除文件及文件夹仿百度文库浏览文档 和下载文件功能。关注用户管理： 关注和取消关注用户文件分享：分...
关于使用华为云搭建Hadoop集群，在关闭ResourceManager时出现WARNING: nodemanager did not stop gracefully after 5 seconds
weixin_44496135的博客
03-23 7069
关于使用华为云搭建Hadoop集群，在关闭ResourceManager时出现WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9 关闭时发现只有ResourceManager所在的节点的nodemanager是正常关闭，node1和node3的nodemanager关闭都出现了： 查看了node1的日志，发现一直在连接ResourceManager所在节点的8031端口，但是连接
大数据学习笔记——基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（五）
菜鸟的编程之路
09-02 1066
集群(全分布)模式配置和部署 安装的总体思路: icss 在 master 完成配置, 并将相关的配置文件复制到其他集群中的机器上 00. 概述： 0. 所有的操作都是 icss 用户， 切换 icss 用户命令： su - icss 1. 每个节点 Hadoop 配置基本相同 在 HadoopMaster 节点操作， 然后复制到其他节点上。 2. Hadoop 3 需要配置的文件有: hado...
Hadoop_HDFS_HBase在centos上部署
04-15
在本文中，我们将深入探讨如何在CentOS操作系统上部署Hadoop HDFS和HBase。首先，我们来看一下Hadoop的部署过程。 ### 一、部署Hadoop #### 1. 安装Hadoop 3.1.3 安装Hadoop需要先确保你的系统满足其依赖项，比如...
hadoop 分布式集群大数据云计算源码视频教程.zip
10-17
此外，教程还涵盖了"分布式集群"的相关知识，讨论了如何规划、部署和管理Hadoop集群，包括节点配置、网络拓扑、资源调度（例如YARN）以及集群监控和优化。 "云计算"部分则探讨了Hadoop在云环境中的应用，包括如何在...
big_data_learning:动物园管理员，hadoop，mapredure分布式计算，hdfs
03-28
Hadoop的生态系统还包括其他组件，如YARN（Yet Another Resource Negotiator），它作为资源管理系统，负责任务调度和集群资源的管理，使得除了MapReduce之外的其他计算框架也能在Hadoop上运行。此外，还有HBase，一...
基于Hadoop_hbase的Distinct实现.zip
最新发布
03-13
人工智能通常涉及复杂的算法和模型训练，这需要大量的计算资源和数据处理能力，Hadoop的分布式文件系统（HDFS）能有效支持这样的需求。Hadoop通过将大文件拆分成块并分布在多台机器上，实现了数据的高效处理。 在...
学习笔记（四）配置hadoop集群错误详解
liwen_me的博客
10-08 1288
首先如图我们输入运行启动配置文件报错，从报错的意思来看是JAVA_HOME的路径找不到，那么我们要找错误就要看我们在哪些地方配置了java的路径。而在我们配置Hadoop前有JAVA_HOME的路径的地方是有两个的，一个是环境变量的配置，一个是hadoop-env.sh当中的配置。分为三种情况：情况一（环境变量的配置）：首先使用java -version来看java是否配置成功，如果能出现当前java的版本号，相当于环境变量当中的配置是正确的，就不需要考虑这个情况了。
大数据－hadoop　安装 spark前奏
flash8627的专栏
06-11 1401
单节点安装 伪集群安装 集群安装
Hadoop基础教程-第9章 HA高可用（9.2 HDFS 高可用配置）（草稿）
与其临渊羡鱼 不如退而结网
07-03 505
第9章 HA高可用 9.2 HDFS 高可用配置 9.2.1 准备工作 因为前面我们已经配置启动了普通的Hadoop相关服务，需要先停止相关服务并清除数据。（1）停止Hadoop服务 首先停止YARN [root@node1 ~]# stop-yarn.sh stopping yarn daemons stopping resourcemanager node2: stopping ...
大数据晋级之路（1）Centos7上搭建全分布式Hadoop集群
互联网的修罗场
11-06 1856
本文介绍搭建一个Namenode两个DataNode的Hadoop全分布式集群的全部步骤及方法。具体环境如下： 环境准备 3个Centos7虚拟机或者3个在一个局域网内的实际Centos7机器，机器上已安装JDK1.8，至于不会安装Centos7或者JDK1.8的同学可以自行网上百度教程，不为此文重点； 关闭禁用防火墙，主要是方便hadoop集群内部相互之间可以顺利访问，方便于web端通过...
CentOS8 安装 Hadoop3.2.1 独立模式、伪分布模式
05-08 1694
本文以root用户安装，开发测试使用。生产环境可以考虑用其他用户安装，比如hadoop，hdfs，yarn 下载地址： https://hadoop.apache.org/releases.html 安装文档： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html Hadoop安装模式 1.独立模式 2.伪分布模式 3.全分布式模式 一、安装准备 安装软件 如果
Centos7+Hadoop3.1.2+HBase2.2.0搭建过程
qinian_ztc的博客
09-12 1485
centos7系统安装 光盘驱动外接服务器,服务器开机F12进BISO安装系统,选择any other systyem,其他默认即可,一直点finish,服务器最终重启进入安装程序. 系统安装时，系统盘的分区如下： /home 50G(51200M) /var 2G(2048M) /boot 1G(1024M) swap 20G(20480M) / ...
Hadoop基础教程-第5章 YARN：资源调度平台（5.6 YARN的命令）（草稿）
程裕强的专栏
05-26 2992
[root@node1 ~]# yarn Usage: yarn [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: resourcemanager -format-
hadoop 关闭时报 no namenode/nodemanager/XXXX to stop
David宫洪深的博客
10-18 9891
hadoop 关闭时报 no XXXX to stop

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值