Hadoop本地模式、伪分布式以及集群的安装与部署

Hadoop本地模式、伪分布式以及集群的安装与部署

软件准备

• VMware12
• Xshell(可选)
• hadoop-2.8.4
• jdk-8u144-windows-x64
• jdk-8u144-linux-x64.tar
• window10
• CentOS-7-x86_64-DVD-1511
• WinSCP

之前我已经装好了VMware，并且新建了一个虚拟机，系统为CentOS7。

本地模式

1.修改虚拟机的IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

我这里将虚拟机的IP地址设为192.168.1.121

修改之后，需要命令重启网络服务

servie network restart

2.设置IP和主机名的地址映射

首先在linux系统中设置主机名

vi /etc/hostname

然后设置IP和主机名映射，方便后边直接通过主机名进行操作，因为最终目标是部署集群，所以设置三个映射。

vi /etc/hosts

在linux系统中修改完映射之后，在本地windows中也需要设置。
默认地址如下：

C:\Windows\System32\drivers\etc

加入IP和主机名映射。

3.安装JDK
首先查询Linux系统中是否安装了JAVA软件

rpm -qa|grep java

如果安装的版本低于1.7，建议卸载该jdk：

rpm -e 查询到的软件包名字

在/opt目录下创建两个子文件夹

mkdir /opt/mod 
mkdir /opt/soft

使用WinSCP软件，上传JDK至linux，放在soft文件夹下。

解压JDK至module文件夹下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

查看

配置环境变量

vi /etc/profile

export JAVA_HOME=/opt/mod/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

然后也要source一下，使环境变量生效

source /etc/profile

检查JDK安装是否成功

java -version

出现如下就说明安装成功了。

3.安装Hadoop

伪分布式

修改成绝对路径保证一定能找到jdk


hdfs web 页面50070

yarn web页面 端口8088

完全分布式集群

克隆上述虚拟机bigdata111，分别得到bigdata112、bigdata113，分别修改他们的主机名与IP地址。

删掉之前搭建伪分布式时建立的数据文件

我们可以看到bigdata111中已经修改好域名映射，然而其他虚拟机中没有。

跨节点发送域名映射在操作的过程总是需要输入密码，接下来设置无密登录
创建秘钥

将自己的秘钥放到其余虚拟机的秘钥库中，每台虚拟机上拷贝3次。

最后需要每个节点上都存有其他节点的秘钥