linux下搭建单机版hdfs和yarn框架

本文详细介绍了如何在Linux系统中,使用CenOS6镜像搭建单机版HDFS和YARN。通过创建三台虚拟机,分别用于不同角色,然后进行HDFS的配置,包括设置JAVA_HOME,修改core-site.xml和hdfs-site.xml,以及格式化和启动HDFS。接着,文章讲解了YARN的配置,包括mapred-site.xml和yarn-site.xml的修改,最后启动YARN服务。
摘要由CSDN通过智能技术生成

在本地搭建hadoop环境时,如果搭建集群模式下的hdfs和yarn则占用资源较多,会影响到自己电脑的性能。

下面介绍如何搭建单机版hdfs和yarn。   

 虚拟机采用cenos6镜像,准备三台虚拟机:

             spark1,spark2,spark3,其中 spark1 作为 namenode、secondary namenode、

            datanode 和 resouremanager,spark2和 spark3 作为 datanode 和 nodemanager。


一、配置单机版hdfs

    1)将hadoop-2.6.4_x64.tar.gz拷贝至linux下home目录下

            tar -zxvf hadoop-2.6.4_x64.tar.gz

    2)修改配置文件

            A)vi /home/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

                   修改为export JAVA_HOME=/usr/java/jdk1.7.0_79(jdk地址)

            B)vi /home/hadoop-2.6.4/etc/hadoop/core-site.xml

            <configuration>
                <property>
                    //配置namenode主机和端口
                    <

  • 5
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值