[关于 HDFS和Yarn HA 的了解]

绿色字体
红色字体
粉色字体
蓝色字体
1.企业中为什么要用集群:

	 每一个角色都是一个进程:
	 HDFS:
	 	NN:老大(接受读写流程请求)Master
	 	SNN:1h checkpoint secondary(每隔一小时都会备份NN中的editlog文件合并成新
	 		的fsimage)
	 	DN:存储数据块和数据块的校验和

	 YARN:
		RM  老大 master
		NM
	 	(注:主从架构  master-slave 
		比如hdfs读写请求都是先NN节点;每一条请求都要先经过NN,如果单节点NN挂了,那么就不
		能提供对外服务,所以我们要用到集群的概念。
	 	RM也是一样。)

但是:hbase 读写请求不是经过老大master,这点需要注意,那什么经过master,就是建表语句,删表语句)

2.企业生产中的配置:

	 如果只有一台节点,如果NN挂了,那么就无法对外提供访问了。
	 企业中我们一般会配置两个NN节点,(实时的,任何时候只有一台active对外,另一台standby实时
	 	备份,随时准备着从stanby切换成active状态,对外提供服务。)
	 NN1:active            hdfs://ip1:9000/ 代码 shell脚本
	 NN2:standby           hdfs://ip2:9000/
	 	(假设NN1在11点挂了,就在那一霎那,NN2会瞬间切换成actice,对外提供访问。)
	 查看hdfs可以这样查看:
	 	hdfs dfs -ls 
		 hdfs dfs -ls /
		 hdfs dfs -ls hdfs://ip:9000/
	 如果NN1挂掉了,我们切换到NN2,难道我们还要手动修改: hdfs://ip2:9000/吗?
	 这个时候我们抛出一个概念:无感知的:(命名空间:nameservice1  CDH
	 										 生产上:dw)

3.命名空间:
在这里插入图片描述

	 如上图所示:命名空间 RUOZEG6 不是一个进程,当我们输入命令:hdfs dfs -ls hdfs://RUOZEG6/这个命令时,他会去找 core-size.xml 和 hdfs-site.xml这两个配置文件,这两个配置文件里配置了 hadoop001和hadoop002这两台机器挂在了 命名空间下面,它会去尝试连接第一台机器,如果第一台不是active,那么他会去连第二台机器。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值