hadoop HA总结

1.SNN  checkpoint 多久？什么参数配置？参数在哪？

60分钟，dfs.namenode.checkpoint.period ， hdfs-default.xml 

2.ZooKeeper是做什么的？

协调服务、统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等

3.ZooKeeper的作用？

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理
简单的说，zookeeper=文件系统+通知机制。

http://blog.csdn.net/king866/article/details/53992653

4.ZooKeeper部署节点个数多少？

2n＋1(n>=1),最少三个-大于100，13/15，小于100，7/9

5.怎样配置多台机器互相信任关系？语法是什么？

ssh-keygen

6.ZooKeeper的mode有哪两种？

leader  follower

7.ZooKeeper客户端的shell脚本是什么？然后常用命令是什么？假如有个场景，比如hdfs ha的信息存储在zk，这时ha需要重新部署，这时需要手工清除zk中的ha信息，请问怎样进去console，怎样删除呢？比如kafka的配置信息也会存在zk中，这时kafka损坏了，需要重新安装，那么必须先检查zk中没有kafka，假如有，先去删除

zkCli.sh，

使用h或者help查看帮助：

stat 命令：查看节点的状态信息 

set命令：修改节点数据，可携带版本号

ls命令：列出某一节点下的子节点信息
rmr命令：

8.Hadoop集群的HDFS、YARN HA的架构原理

https://www.cnblogs.com/qiaoyihang/p/6166148.html

9.HDFS的JN 进程是干什么的？

用于Active NameNode ， Standby NameNode 同步数据，本身由一组JounnalNode节点组成，该组节点奇数个。 

10.HDFS ZKFC是进程还是线程，作用是什么？

进程，监控NameNode进程，自动备份。 

11.YARN ZKFC是进程还是线程?

线程

12.HDFS的NN的两个状态是什么？怎样使用命令查看NN状态？什么命令是NN1变为active状态呢？

Active和Standby，hdfs haadmin -getServiceState NN1和hdfs haadmin -getServiceState NN2，hdfs haadmin -transitionToActive --forcemanual NN1

13.HDFS进入安全模式，什么命令去退出？

在bin目录下

./hdfs dfsadmin -safemode enter进入

./hdfs dfsadmin -safemode leave退出

14.NN active 有读写权限,那么standby可以仅仅读取吗？ 有无读取的权限？

不能

15.为什么DN(数据存储)和NM(计算)部署在同一台？

数据本地化，减少网络消耗，让计算更快

16.A机器去无密码执行B机器的SHELL脚本，pub文件用谁的？copy到哪了？

用A机器的，公钥是锁，私钥是钥匙；copy到authorized_keys

17. start-dfs.sh 进程顺序是什么？

namenodes

datanodes

secondary namenodes (if any)

quorumjournal nodes (if any)

ZK Failover controllers, if auto-HA is enabled

18.怎样动态添加DataNode(含NodeManager)节点(不修改dfs.replication)

https://www.cnblogs.com/pu20065226/archive/2018/03/02/8493316.html

19.怎样添加DataNode节点后,更改文件复制策略dfs.replication

http://www.tulinkeji.com/i/482991892.html

20.怎样动态删除DataNode(含NodeManager)节点(修改dfs.replication)

https://www.cnblogs.com/pu20065226/archive/2018/03/02/8493316.html

21.Hadoop2.x 性能调优，操作系统参数有哪些？

<!-- 配置 Map段输出的压缩,snappy-->
  <property>
      <name>mapreduce.map.output.compress</name> 
      <value>true</value>
  </property>
              
  <property>
      <name>mapreduce.map.output.compress.codec</name> 
      <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

      <property>
 <name>io.compression.codecs</name>
 <value>org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
 </value>
      </property>

22.Yarn的内存调优参数是什么？

http://blog.csdn.net/weixin_39182877/article/details/79315376

23.mr2就是yarn吗？

 hadoop2.x 是将第一代的mr的资源调度和作业调度管理抽离出来为yarn，计算为mr2。mr2是在yarn上运行MapReduce框架的一个分布式应用

【来自@若泽大数据】