集群搭建小结

主备节点启动小结

在这次ha集群的搭建过程中细节上出现了较多卡顿。
针对搭建好后的主备节点的启用也出现了一些问题。
在启动时单在一个节点上格式化后，另一个namenode节点并未同步格式化内容
可能是因为网络通信的问题,毕竟这次的数据导入过程中因为专用网络出现了较多问题
致使另一节点上的namenode启用并未成功
因此无法连通8020端口。

---

解决方案

将有格式化信息的name相关信息拷贝一份至另一namenode,注意datanode的version也要对应，而datanode的data的信息在start-dfs.sh时生成

ha集群启用相关指令

• hadoop-daemon.sh start journalnode
• hdfs namenode -format
• hadoop-daemon.sh start namenode
• start-dfs.sh
• start-yarn.sh
• hadoop-daemon.sh start datanode

---

• hdfs haadmin -getServiceState nn1
  查看活跃主备节点的状态
  *haadmin -failover –forcefence –forceactive nn2 nn1

确定要转为active的namenode的id，这里将namenode1设为active，使用命令行工具进行状态切换

hdfsnamenode  -initializeSharedEdits

hadoop-daemon.sh start  namenode

在namenode1上对journalnode的共享数据进行初始化，然后启动namenode进程：

namenode2上同步journalnode的共享数据，然后启动namenode进程：
$HADOOP_HOME/bin/hdfsnamenode  -bootstrapStandby
$HADOOP_HOME/sbin/hadoop-daemon.sh start  namenode

参考连接

磁盘挂载

fdisk -l查看有那些磁盘可以挂载
mount * //
有时会出现
mount: you must specify the filesystem type问题
即要先格式化磁盘 mkfs.ext3 要挂载的盘

附hadoop成功启动后截图

---

hbase集成小结

在针对集群中的hbase集成相对较为顺利，但也遇到了些问题，不过通过更改hosts中公网ip映射hosts为0.0.0.0对应,解决了在配置文件中不能用host代替的问题。

hbase常用指令

* start-hbase.sh
* stop-hbase.sh