Centos7——hadoop集群安装

目录

一,创建用户:hadoop并添加root权限

1，进入root用户：

2，编辑hosts文件：

3,仿照 ALL=(ALL) 那一行添加hadoop

4，保存退出：此时Hadoop用户拥有root权限

二,配置静态IP

1，查看vmnet8子网IP:  打开Vmwareworkcation, 点击’编辑’—>’虚拟网络编辑器’

2，修改网络配置文件：

3，保存退出后重启网络：

4，检测是否配置成功：

三,修改hosts文件

1，编辑hosts文件：

         四,安装hadoop和java并配置环境变量

1，将Hadoop和jdk安装包冲Windows传入虚拟机

3，配置环境变量

4，刷新配置文件

5，创建文件夹

五,修改Hadoop配置文件

1，修改hadoop-env.sh

2，修改hdfs-site.xml

3，修改core-site.xml

4，修改

5，修改yarn-site.xml

6，修改slaves

六,克隆虚拟机并修改IP

1，关闭虚拟机，然后右击-->管理-->克隆，选择完整克隆

2，将hadoop02,hadoop03克隆结束后修改IP后缀：

七，ssh免密钥登录(在3个节点中都进行此操作！)

1，

输入后一直回车即可！

2，将密钥分享给其他节点：

八，格式化namenode

1，进入hadoop/bin/目录下执行代码：

或者：

九,启动hadoop:

1,进入hadoop/sbin/目录下执行代码：

十，验证是否安装成功

---

注：细节决定成败！

准备环境：虚拟机：Vmwareworkstation16Pro

                   Centos7: 1708

                    jdk :1.8

                    hadoop:3.1

本演示文档中hadoop文件目录：/home/hadoop/hadoop

                       java文件目录: /home/hadoop/java

linux常用命令：

cd 切换目录

ll 查看当前目录下所有的文件

vim filename 编辑或创建文件

sudo -s 进入超级用户

tar -zxvf  解压压缩包

pwd 查看当前目录所在位置

一,创建用户:hadoop并添加root权限

1，进入root用户：

输入密码后回车进入root用户

2，编辑hosts文件：

vim /etc/sudoers

3,仿照 ALL=(ALL) 那一行添加hadoop

4，保存退出：此时Hadoop用户拥有root权限

注：创建完用户后，通常/home/目录下会有用户名对应的目录

二,配置静态IP

1，查看vmnet8子网IP:  打开Vmwareworkcation, 点击’编辑’—>’虚拟网络编辑器’

此时当前vmnet8子网IP为：192.168.60.0

2，修改网络配置文件：

编辑网络配置文件：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意：只需修改红色字体即可！蓝色字体为说明

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO="static"   

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=64f20621-7c19-463d-9a15-cb4d944e194e

DEVICE=ens33

PREFIX=24

ONBOOT=yes

IPADDR=192.168.60.222      --前3位和步骤1 vmnet8子网IP保持一致，最后一位取值范围在128-255之间

NETMASK=255.255.255.0     --固定值无需修改

GATEWAY=192.168.60.2      --和IPADDR一样，最后一位改为2

DNS1=192.168.60.2         ---和GATEWAY保持一致

3，保存退出后重启网络：

service network restart

4，检测是否配置成功：

注：windows也要有网络才行

使用命令：ping baidu.com 如果如下图所示，则表示配置成功！

三,修改hosts文件

1，编辑hosts文件：

sudo vim /etc/hosts

四,安装hadoop和java并配置环境变量

1，将Hadoop和jdk安装包冲Windows传入虚拟机

在Windows上进入CMD窗口：

scp -r 要传的文件路径 用户名@IP地址:目标存放路径

如图所示

2，解压安装包

tar -zxvf 安装包名

解压后为了方便配置环境变量可把解压后的文件夹简化重命名为“hadoop”/“java”

mv 原文件名  新文件名

例：mv hadoop-2.7.1 hadoop

3，配置环境变量

vim /etc/profile

export JAVA_HOME=/home/hadoop/java    #java安装包位置
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/home/hadoop/hadoop  #hadoop安装包位置
export PATH=$HADOOP_HOME/bin:$PATH

如图所示：

4，刷新配置文件

source /etc/profile

5，创建文件夹

在/home/hadoop/hadoop/目录下执行代码：

mkdir hdfs/data

mkdir hdfs/name

mkdir tmp

五,修改Hadoop配置文件

进入hadoop/etc/hadoop/目录下：

1，修改hadoop-env.sh

vim hadoop-env.sh

将JAVA_HOME修改为java文件路径：

2，修改hdfs-site.xml

vim hdfs-site.xml

 在<configuration></configuration>里添加如下代码：

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/hadoop/hdfs/data</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>1</value>
</property>
<property>
     <name>dfs.permissions</name>
     <value>false</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop02:50090</value>
</property>
</configuration>

3，修改core-site.xml

vim core-site.xml

在<configuration></configuration>里添加如下代码：

<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop/tmp</value>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000/</value>
    <description>NameNode URI</description>
</property>
</configuration>

4，修改

mapred-site.xml

在当前目录下只有mapred-site.xml.template,直接将名字改为mapred-site.xml：

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在<configuration></configuration>里添加如下代码：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

5，修改yarn-site.xml

在<configuration></configuration>里添加如下代码：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

6，修改slaves

直接添加以下内容：

六,克隆虚拟机并修改IP

1，关闭虚拟机，然后右击-->管理-->克隆，选择完整克隆

2，将hadoop02,hadoop03克隆结束后修改IP后缀：

避免IP重复：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

只需要将IPADDR修改一下即可！

七，ssh免密钥登录(在3个节点中都进行此操作！)

1，

ssh-keygen 

输入后一直回车即可！

2，将密钥分享给其他节点：

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

 输入命令后会有提示，输入yes然后回车再次输入密码回车即可完成该节点的密钥分享！

八，格式化namenode

1，进入hadoop/bin/目录下执行代码：

hdfs namenode -format

或者：

hadoop namenode -format

九,启动hadoop集群:

1,进入hadoop/sbin/目录下执行代码：

./start-all.sh

十，验证是否安装成功

1,关闭防火墙：

systemctl stop firewalld.service

 在浏览器输入192.168.60.222:9870查看hadoop UI管理界面：

yarn 集群管理界面：192.168.60.222:8088

此时恭喜你安装成功！