Hadoop 平台安装

一、 Linux 操作系统环境设置

安装环境

服务器集群	单节点，机器最低配置：双核 CPU、8GB 内存、100G 硬盘
运行环境	CentOS 7.4
服务和组件	服务和组件根据实验需求安装

安装过程

步骤一：查看服务器的 IP 地址

[root@localhost ~]# ip addr show 

步骤二：设置服务器的主机名称

[root@localhost ~]# hostnamectl set-hostname master
[root@localhost ~]# bash
[root@master ~]# hostname
master  //出现master就表示服务器主机名称以更改成mater

步骤三：绑定主机名与 IP 地址

[root@master ~]# vi /etc/hosts

添加以下内容：

192.168.200.10 master     //主机IP地址 主机名

步骤四：查看 SSH 服务状态

[root@master ~]# systemctl status sshd

看到 active (running)就表示 SSH 已经安装并启用。

● sshd.service - OpenSSH server daemon
   Loaded: loaded (/usr/lib/systemd/system/sshd.service; enabled; vendor preset: enabled)
   Active: **active (running)** since Wed 2022-07-06 15:26:04 CST; 20min ago
     Docs: man:sshd(8)
           man:sshd_config(5)

步骤五：关闭防火墙

[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld //永久关闭防火墙

关闭防火墙后要查看防火墙的状态，确认一下

[root@master ~]# systemctl status firewalld

看到 inactive (dead)就表示防火墙已经关闭

● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: **inactive (dead)**
     Docs: man:firewalld(1)

步骤六：创建 hadoop 用户

[root@master ~]# useradd hadoop   //创建一个名为hadoop的用户

[root@master ~]# passwd hadoop   //设置密码为haoop

因为密码太简单需要输两次

Changing password for user hadoop.
New password: 
BAD PASSWORD: The password is shorter than 8 characters
Retype new password: 
passwd: all authentication tokens updated successfully.

二、安装 JAVA 环境

步骤一：下载 JDK 安装包

jds安装包(密码: epbY)

步骤二：卸载自带 OpenJDK

[root@master ~]# rpm -qa | grep java

java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
tzdata-java-2017b-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch

删除相关文件

[root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-headless1.8.0.131-11.b12.el7.x86_64

[root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131- 11.b12.el7.x86_64

[root@master ~]# rpm -e --nodeps java-1.7.0-openjdk-headless1.7.0.141-2.6.10.5.el7.x86_64

[root@master ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141- 2.6.10.5.el7.x86_64

步骤三：安装 JDK

[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/ 

查看是否JDK 安装在 /usr/local/src/jdk1.8.0_152 目录中。

[root@master ~]# ll /usr/local/src/

total 0
drwxr-xr-x 8 10 143 255 Sep 14  2017 jdk1.8.0_152

将jdk1.8.0_152名称改成jdk

[root@master ~]# cd /usr/local/src/
[root@master src]# ls
jdk1.8.0_152
[root@master src]# mv jdk1.8.0_152/ jdk
[root@master src]# ls
jdk
[root@master src]# cd jdk/
[root@master jdk]# pwd
/usr/local/src/jdk

步骤四：设置 JAVA 环境变量

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：

[root@master ~]# source /etc/profile //检查 JAVA 是否可用

[root@master ~]# echo $JAVA_HOME 
/usr/local/src/jdk

[root@master ~]# java -version //能够正常显示 Java 版本则安装并配置成功
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)
[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

三、安装 Hadoop 软件

步骤一：安装 Hadoop 软件

[root@master ~]# tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/src/ //将安装包解压到/usr/local/src/目录下

[root@master ~]# ll /usr/local/src/
total 0
drwxr-xr-x 9 10021 10021 149 Jun 29  2015 hadoop-2.7.1
drwxr-xr-x 8    10   143 255 Sep 14  2017 jdk

查看 Hadoop 目录,得知 Hadoop 目录内容如下:

[root@master ~]# ll /usr/local/src/hadoop-2.7.1/
total 28
drwxr-xr-x 2 10021 10021   194 Jun 29  2015 bin
drwxr-xr-x 3 10021 10021    20 Jun 29  2015 etc
drwxr-xr-x 2 10021 10021   106 Jun 29  2015 include
drwxr-xr-x 3 10021 10021    20 Jun 29  2015 lib
drwxr-xr-x 2 10021 10021   239 Jun 29  2015 libexec
-rw-r--r-- 1 10021 10021 15429 Jun 29  2015 LICENSE.txt
-rw-r--r-- 1 10021 10021   101 Jun 29  2015 NOTICE.txt
-rw-r--r-- 1 10021 10021  1366 Jun 29  2015 README.txt
drwxr-xr-x 2 10021 10021  4096 Jun 29  2015 sbin
drwxr-xr-x 4 10021 10021    31 Jun 29  2015 share

bin：此目录中存放 Hadoop、HDFS、YARN 和 MapReduce 运行程序和管理软件
etc：存放 Hadoop 配置文件。
include: 类似 C 语言的头文件
lib：本地库文件，支持对数据进行压缩和解压。 libexe：同 lib
sbin：Hadoop 集群启动、停止命令
share：说明文档、案例和依赖 jar 包

将hadoop-2.7.1改为hadoop

[root@master ~]# cd /usr/local/src/
[root@master src]# mv hadoop-2.7.1/ hadoop
[root@master src]# ls
hadoop  jdk

步骤二：配置 Hadoop 环境变量

[root@master ~]# vi /etc/profile

//在文件的最后增加如下两行：
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOMR/sbin

执行 source 使用设置生效：

[root@master src]# source /etc/profile

//检查设置是否生效：
[root@master src]# hadoop
出现 Hadoop 帮助信息就说明 Hadoop 已经安装好了

步骤三：修改目录所有者和所有者组

[root@master src]# chown -R hadoop:hadoop /usr/local/src 

[root@master src]# ll /usr/local/src
total 0
drwxr-xr-x 9 hadoop hadoop 149 Jun 29  2015 hadoop
drwxr-xr-x 8 hadoop hadoop 255 Sep 14  2017 jdk ///usr/local/src 目录的所有者已经改为 hadoop 了