Hadoop2.7.3 HDFS完全分布式配置


服务器规划如上图所示

搭建步骤:

1.同步时间、配置hosts、关闭防火墙

时间同步:ntpdate -u edu.ntp.org.cn

2.配置免密码登录

NameNode节点到其他节点

3.修改配置文件

修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

  # set to the root of your Java installation
  export JAVA_HOME=/usr/local/software/jdk1.7.0_79

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.111:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/software/hadoop-2.7.3/data</value>
    </property>

</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
   
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.112:50090</value>
    </property>

</configuration>
                           

slaves

192.168.0.112
192.168.0.113
192.168.0.114

在一台机器上配置完成,使用scp命令将上述配置完成的hadoop配置同步到其他机器

4.格式化NameNode

$ bin/hdfs namenode -format

5.启动hdfs

$ sbin/start-dfs.sh

6.使用jps命令查看进程或访问http://192.168.0.111:50070/ 验证是否启动成功。







评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值