hadoop 完全分布式

本文详细介绍了Hadoop完全分布式部署的过程,包括安装配置、问题解决及词频统计。同时,深入讲解了HDFS节点的管理,如增加和删除节点的步骤。此外,还探讨了NFS网关的用途、特性及其配置方法,帮助用户更好地理解和使用Hadoop分布式文件系统。
摘要由CSDN通过智能技术生成

完全分布式

1.1 安装配置

1)配置mapred-site(nn01上面操作)

    [root@nn01 ~]cd /usr/local/hadoop/etc/hadoop/
    [root@nn01 hadoop] mv mapred-site.xml.template mapred-site.xml
    [root@nn01 hadoop vim mapred-site.xml
    <configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
shujshuj
2)配置yarguanln-site(nn01上面操作)
peiz
    [root@nn01 hadoop] vim yarn-site.xml
    <configuration>5)web访问hadoop

    http://192.168.1.60:50070/            //--namenode web页面(nn01)
    http://192.168.1.60:50090/        //--secondory namenode web页面(nn01)
    http://192.168.1.61:50075/        //--datanode web页面(node1,node2,node3)
    http://192.168.1.60:8088/        //--resourcemanager web页面(nn01)
    http://192.168.1.61:8042/        //--nodemanager web页面(node1,node2,node3) do rsync -aSH --delete /usr/local/hadoop/
\ 192.168.1.$i:/usr/local/hadoop/  -e 'ssh' & done        //同步配置 do rsync -aSH --delete /usr/local/hadoop/
\ 192.168.1.$i:/usr/local/hadoop/  -e 'ssh' & done        //同步配置 do rsync -aSH --delete /usr/local/hadoop/
\ 192.168.1.$i:/usr/local/hadoop/  -e 'ssh' & done        //同步配置
    <!-- Site specific YARN configuration properties -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>nn01</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
 do rsync -aSH --delete /usr/local/hadoop/
\ 192.168.1.$i:/usr/local/hadoop/  -e 'ssh' & done        //同步配置
3)同步配置(nn01上面操作)

    [root@nn01 hadoop
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值