Hapdoop安装配置(伪分布运行模式)

步骤:

1,vim hadoop-2.8.5/etc/hadoop/hadoop-env.sh:

export JAVA_HOME=/usr/local/java/jdk1.8.0_171

2,vim hadoop-2.8.5/etc/hadoop/core-site.xml:

<configuration>

<!-- 设置主结点的uri -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://coffee01:9000/</value>
        </property>

<!-- 分布式系统的临时文件的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/</value>
        </property>
</configuration>

3,vim hadoop-2.8.5/etc/hadoop/hdfs-site.xml :

<!-- 文件的副本数 -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

4,mv hadoop-2.8.5/etc/hadoop/mapred-site.xml.template hadoop-2.8.5/etc/hadoop/mapred-site.xml

5,vim hadoop-2.8.5/etc/hadoop/mapred-site.xml:

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
6,vim hadoop-2.8.5/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>coffee01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
7,关闭防火墙:

<Ubuntu系统>查看防火墙状态:sudo ufw status、关闭防火墙:sudo ufw disable

8,配置环境变量:

vim /etc/profile:

export HADOOP_HOME=/home/coffee/hadoop-2.8.5
export JAVA_HOME=/usr/local/java/jdk1.8.0_171 

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完之后,source /etc/profile,使配置文件生效

9,格式化:hadoop name -format

格式化成功。

10,修改ip映射

vim /etc/hosts:

10.10.10.212 coffee01

11,使用公钥和私钥免密登陆

ssh-keygen

touch ./ssh/authorized_keys

chmod 600 ./ssh/authorized_keys

cat .ssh/id_rsa.pub >> .ssh/authorized_keys 

12,开启:start-dfs.sh、start-yarn.sh

13,可以在其他主机通过修改hosts后,登陆 coffee01:50070/进行访问

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值