集群搭建小结

主备节点启动小结

在这次ha集群的搭建过程中细节上出现了较多卡顿。
针对搭建好后的主备节点的启用也出现了一些问题。
在启动时单在一个节点上格式化后,另一个namenode节点并未同步格式化内容
可能是因为网络通信的问题,毕竟这次的数据导入过程中因为专用网络出现了较多问题
致使另一节点上的namenode启用并未成功
因此无法连通8020端口。


解决方案

将有格式化信息的name相关信息拷贝一份至另一namenode,注意datanode的version也要对应,而datanode的data的信息在start-dfs.sh时生成

ha集群启用相关指令

  • hadoop-daemon.sh start journalnode
  • hdfs namenode -format
  • hadoop-daemon.sh start namenode
  • start-dfs.sh
  • start-yarn.sh
  • hadoop-daemon.sh start datanode

  • hdfs haadmin -getServiceState nn1
    查看活跃主备节点的状态
    *haadmin -failover –forcefence –forceactive nn2 nn1

确定要转为active的namenode的id,这里将namenode1设为active,使用命令行工具进行状态切换

hdfsnamenode  -initializeSharedEdits

hadoop-daemon.sh start  namenode

在namenode1上对journalnode的共享数据进行初始化,然后启动namenode进程:
namenode2上同步journalnode的共享数据,然后启动namenode进程:
$HADOOP_HOME/bin/hdfsnamenode  -bootstrapStandby
$HADOOP_HOME/sbin/hadoop-daemon.sh start  namenode

参考连接

磁盘挂载

fdisk -l查看有那些磁盘可以挂载
mount * //
有时会出现
mount: you must specify the filesystem type问题
即要先格式化磁盘 mkfs.ext3 要挂载的盘

附hadoop成功启动后截图

Alt text
Alt text
Alt text
Alt text


hbase集成小结

在针对集群中的hbase集成相对较为顺利,但也遇到了些问题,不过通过更改hosts中公网ip映射hosts为0.0.0.0对应,解决了在配置文件中不能用host代替的问题。

hbase常用指令

* start-hbase.sh
* stop-hbase.sh
阅读更多
换一批

没有更多推荐了,返回首页