centos安装hadoop2.6.4之一台服务器变成多台服务器配置步骤

1.检查各虚拟机的环境变量(每台服务器都要检查)

     /etc/profile   并运行 source /etc/profile

    配置HADOOP_HOME  和  PATH 配置上hadoop下的sbin  和bin目录

2.检查防火墙是否关闭(每台服务器都要检查)

      务必关闭防火墙systemctl status firewalld  //查看状态 

      开机禁用防火墙  : systemctl disable firewalld     

      关闭(当次有效): systemctl stop firewalld)

3.检查hadoop 的slaves 配置文件(每台服务器都要检查)

      看下是否成slave1   slave2

4. 检查 hdfs-site.xml 配置文件,数据块备份数是否是3  (每台服务器都要检查)  

 <property>
      <!--文件快的副本数,默认就是3个-->
      <name>dfs.replication</name>
      <value>3</value>
   </property>

5.验证下免密码登录是否可以用(每台服务器都要检查)

                                            三台电脑的话就验证9种

                                            生成密码是ssh-keygen 

                                            发送密码是ssh-copy-id root@slave1)  

  ssh   root@master

  ssh  root@slave1

   ssh root@slave2

6.重新格式化

   ①停止hdfs服务(使用jps命令查看是否有  nameNode,dataNode,secondary nameNode三个进程)

  进入 sbin目录中 执行

  sh stop-dfs.sh 

如果使用jps 查看还有这三个进程中有一个进程没有关闭,那使用kill -9 进程号 去关闭进程

   ②查看hdfs-site.xml配置的路径(dfs.name.dir指定的目录在master服务器中,、dfs.data.dir所指定的目录在slave1,slave2中
我们打开Hadoop的hdfs-site.xml,基本配置如下所示:
 将 dfs.name.dir所指定的目录文件夹删除、dfs.data.dir所指定的目录文件夹在系统中删除(不要修改配置文件!)
   ③、删除core-site.xml配置文件指定的相关目录,主要不要修改配置文件!!
 将hadoop.tmp.dir所指定的目录在系统中删除(不要修改配置文件!)。

5.不要忘记重新新建/tmp文件夹


6、重新执行命令:hdfs  namenode -format
格式化完毕。

tips:

   1.当多台服务器做的hadoop  hdfs分布式文件系统启动不起来时,检查是否单台可以启动起来,如果单台做的hdfs可以启动起来,一定是新配置的slave1,slave2配置文件出错!!!!复制master上的配置文件覆盖slave1,slave2中的配置文件,问题即可解决!!!

  2.重新格式化注意删除dataNode 的slave1,slave2节点的data目录

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值