《Hadoop3.1》集群搭建指南

Hadoop3.1 集群搭建指南

前言

本实验基于Hadoop3.1 和 jdk1.8安装，主要涉及内容是linux网络设置，主机设置，ssh远程登陆设置，

用的操作系统是Centos6.8。

一：LINUX基本配置

步骤：(注：#代表超级用户下使用)

1 创建单个用户用于Hadoop集群搭建

#：useradd username

再键入密码就行了

2 修改sudoers文件，使在Hadoop下可以使用sudo操作

在root下修改：#：/etc/sudoers 添加如下

3 修改主机名

# vi /etc/sysconfig/network

4 linux网络配置

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

5 修改hosts文件

# vi /etc/hosts

注：以上都是一台主机的操作，如果进行集群需要在hosts文件添加节点主机IP和主机名

二：安装JDK

1 解压jdk

# tar -zxvf jdkname

2 配置环境变量

# vi /etc/profile  添加

export JAVA_HOME=/usr/java/jdk1.8.0_161

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile

（温馨提示：如果你的centos预装了jdk ，java -version会显示预装的版本，例如我安装的明明是jdk1.8

他显示1.7的

解决：

查看安装的版本

# rpm -qa | grep java

删除预装的版本（我的里预装的是这两个）

# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64

# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.4.el6.x86_64

再次检查发现只剩一个了

此时再java -version就会报错，说没有该命令

解决：输入

# source /etc/profile 成功解决。）

三 ：安装hadoop3.1

集群规划

主机名