1.搭建:https://www.jianshu.com/p/7904fcc727d7
2.注意:
1). ha模式,在一个选为active的namenode节点上执行格式化命令hdfs namenode -format后,
先用命令hadoop-daemon.sh start namenode单独启动该namenode。然后在其他namenode节
点上执行命令hdfs namenode -bootstrapStandby来同步fsimage。如果不进行同步会造成standby的namenode
启动失败,会报没有格式化异常。
2)多次格式化的情况,重点要在格式化前清理所有namenode和datanode的相关目录:
参考:https://blog.csdn.net/gis_101/article/details/52821946
rm -rf /data/app/hadoop-2.7.7/nameNode/* 元数据目录
rm -rf /data/app/hadoop-2.7.7/dataNode/* 数据目录
rm -rf /data/hadoop/tmp/* hadoop临时存储目录
rm -rf /data/app/hadoop-2.7.7/logs/* 运行日志目录
hdfs zkfc -formatZK(在其中一台NameNode上) 清理zk
4.hadoop需要手动单独启动的服务:
jobhistory服务:mr-jobhistory-daemon.sh start historyserver
如果yarn-site.xml中配置了yarn.web-proxy.address,需要手动启动WebAppProxyServer服务:yarn-daemon.sh start proxyserver
3.启动停止命令
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode
sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
sbin/hadoop-daemons.sh start namenode 单独启动NameNode守护进程
sbin/hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
sbin/hadoop-daemons.sh start datanode 单独启动DataNode守护进程
sbin/hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
sbin/hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
sbin/hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
sbin/start-yarn.sh 启动ResourceManager、NodeManager
sbin/stop-yarn.sh 停止ResourceManager、NodeManager
sbin/yarn-daemon.sh start resourcemanager 单独启动ResourceManager
sbin/yarn-daemons.sh start nodemanager 单独启动NodeManager
sbin/yarn-daemon.sh stop resourcemanager 单独停止ResourceManager
sbin/yarn-daemons.sh stopnodemanager 单独停止NodeManager
sbin/mr-jobhistory-daemon.sh start historyserver 手动启动jobhistory
sbin/mr-jobhistory-daemon.sh stop historyserver 手动停止jobhistory