hadoop完全分布式安装、配置,详解

本文详细介绍了在三台Linux虚拟机上安装配置Hadoop完全分布式的过程,包括环境准备、时间同步、配置文件修改和集群启动。使用hadoop-2.6.0-cdh5.14.2版本,讲解了如何设置主机映射、无密登录、NTP时间同步以及配置hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml等文件。
摘要由CSDN通过智能技术生成

本文用的是hadoop-2.6.0-cdh5.14.2,jdk使用的是1.8.0_111,三台虚拟机搭建分布式。


一、准备工作
首先安装一台虚拟机,并在此上打通网络、关闭防火墙、安装jdk并安装hadoop;然后在一台机器基础上克隆三台,并各自设置网络和主机名,再配置主机映射;最后设置三台机器之间互相的无密登录。

jdk和hadoop,我都将解压文件安装在了/opt/install下,并对应的配置和应用了环境变量

#JAVA_HOME
export JAVA_HOME=/opt/install/jdk1.8.0_111
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

#HADOOP_HOME
export HADOOP_HOME=/opt/install/hadoop-2.6.0-cdh5.14.2
export PATH=$HADOOP_HOME/bin:$PATH

在这里插入图片描述
经克隆和配置网络后,最终设置好的三台机器分别名为hadoop2、hadoop3、hadoop4。其/etc/hosts里的映射如下
在这里插入图片描述
设置无密登录,需要在三台机器上都操作以下的语句。这里可以利用xshell等软件的一次性操作多台虚拟机的功能。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id hadoop2
ssh-copy-id hadoop3
ssh-copy-id hadoop4

在这里插入图片描述

这里只做了简述,若对具体操作不清楚,可参考:(1)虚拟机安装linux、配置

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值