主备节点启动小结
在这次ha集群的搭建过程中细节上出现了较多卡顿。
针对搭建好后的主备节点的启用也出现了一些问题。
在启动时单在一个节点上格式化后,另一个namenode节点并未同步格式化内容
可能是因为网络通信的问题,毕竟这次的数据导入过程中因为专用网络出现了较多问题
致使另一节点上的namenode启用并未成功
因此无法连通8020端口。
解决方案
将有格式化信息的name相关信息拷贝一份至另一namenode,注意datanode的version也要对应,而datanode的data的信息在start-dfs.sh时生成
ha集群启用相关指令
- hadoop-daemon.sh start journalnode
- hdfs namenode -format
- hadoop-daemon.sh start namenode
- start-dfs.sh
- start-yarn.sh
- hadoop-daemon.sh start datanode
- hdfs haadmin -getServiceState nn1
查看活跃主备节点的状态
*haadmin -failover –forcefence –forceactive nn2 nn1
确定要转为active的namenode的id,这里将namenode1设为active,使用命令行工具进行状态切换
hdfsnamenode -initializeSharedEdits
hadoop-daemon.sh start namenode
在namenode1上对journalnode的共享数据进行初始化,然后启动namenode进程:
namenode2上同步journalnode的共享数据,然后启动namenode进程:
$HADOOP_HOME/bin/hdfsnamenode -bootstrapStandby
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
磁盘挂载
fdisk -l查看有那些磁盘可以挂载
mount * //
有时会出现
mount: you must specify the filesystem type
问题
即要先格式化磁盘 mkfs.ext3 要挂载的盘
附hadoop成功启动后截图
hbase集成小结
在针对集群中的hbase集成相对较为顺利,但也遇到了些问题,不过通过更改hosts中公网ip映射hosts为0.0.0.0对应,解决了在配置文件中不能用host代替的问题。
hbase常用指令
* start-hbase.sh
* stop-hbase.sh