1.1Hadoop 运行环境搭建模版虚拟机环境准备
ip设定、hostname更改、host映射添加
虚拟机配置
-
使用yum安装功能,需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况
root@hadoop100 ~]# ping www.baidu.com PING www.baidu.com (14.215.177.39) 56(84) bytes of data. 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms 64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
-
安装epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)
yum install -y epel-release
关闭防火墙,关闭防火墙开机自启
注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
创建用户,并修改用户的密码
[root@hadoop100 ~]# useradd ola
[root@hadoop100 ~]# passwd ola
配置用户具有root权限,方便后期加sudo执行root权限的命令
root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
ola ALL=(ALL) NOPASSWD:ALL
ola这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了ola密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以ola要放到%wheel这行下面
在/opt目录下创建文件夹,并修改所属主和所属组
-
在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module [root@hadoop100 ~]# mkdir /opt/software
-
修改module、software文件夹的所有者和所属组均为ola用户
[root@hadoop100 ~]# chown ola:ola /opt/module [root@hadoop100 ~]# chown ola:ola /opt/software
-
查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# ll /opt/ 总用量 0 drwxr-xr-x. 2 ola ola 6 3月 22 12:05 module drwxr-xr-x. 2 root root 6 10月 31 2018 rh drwxr-xr-x. 2 ola ola 6 3月 22 12:05 software
卸载虚拟机自带的JDK
#查询是否安装
[root@hadoop100 ~]# rpm -qa | grep -i java
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
tzdata-java-2020a-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
#卸载
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
重启虚拟机
[root@hadoop100 ~]# reboot
1.2.克隆虚拟机
克隆3台台
利用模板机hadoop100,克隆3台虚拟机:hadoop102 hadoop103 hadoop104 ,克隆时,要先关闭hadoop100
克隆后hadoop100所有配置和文件都会复制过来!!因此它的hostname依旧是hadoop100,需要进行下面的操作,更改配置变成新的虚拟机。
修改克隆机IP
见Linux学习笔记,其中GATEWAY、DNS、BOOTPROTO不需要改,更改IPADDR即可,其中IPADDR网段不变,将地址改一下,比如102
修改克隆机主机名
host映射
已经克隆过来了,不需要操作了
1.3.在克隆虚拟机上安装 JDK
在创建的普通用户下操作
卸载 JDK
导入JDK
将 JDK 导入到 opt 目录下面的 software 文件夹下面
[ola@hadoop102 ~]# scp [jdk路径] root@192.168.109.131:/opt/software
检查是否上传成功
[ola@hadoop102 ~]# ll /opt/software/
total 190444
-rw-r--r--. 1 root root 195013152 Mar 22 13:55 jdk-8u212-linux-x64.tar.gz
解压 JDK
在software文件夹下,解压 JDK 到/opt/module 目录下
[ola@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
#查看解压是否成功
[ola@hadoop102 software]# ls /opt/module/
jdk1.8.0_212
配置 JDK 环境变量
#新建/etc/profile.d/my_env.sh 文件
[ola@hadoop102 software]# sudo vim /etc/profile.d/my_env.sh
#在文档中添加,保存退出
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#source 一下/etc/profile 文件,让新的环境变量 PATH 生效
[ola@hadoop102 software]# source /etc/profile
测试 JDK 是否安装成功
[ola@hadoop102 software]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
1.4.在克隆虚拟机上安装 Hadoop
导入
导入到 opt 目录下面的 software 文件夹下面
scp [hadoop路径] root@192.168.109.131:/opt/software
oop-3.1.3.tar.gz root@192.168.109.131:/opt/software
root@192.168.109.131's password:
hadoop-3.1.3.tar.gz 100% 322MB 37.9MB/s 00:08
检查是否上传成功
[root@hadoop102 software]# ll /opt/software/
总用量 520600
-rw-r--r--. 1 root root 338075860 3月 22 14:21 hadoop-3.1.3.tar.gz
-rw-r--r--. 1 root root 195013152 3月 22 13:55 jdk-8u212-linux-x64.tar.gz
解压
在software文件夹下,解压 到/opt/module 目录下
[root@hadoop102 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
#查看解压是否成功
[root@hadoop102 software]# ls /opt/module/
hadoop-3.1.3 jdk1.8.0_212
配置环境变量
#修改/etc/profile.d/my_env.sh 文件
[root@hadoop102 software]# sudo vim /etc/profile.d/my_env.sh
#在文档中添加,保存退出
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#source 一下/etc/profile 文件,让新的环境变量 PATH 生效
[root@hadoop102 software]# source /etc/profile
测试 是否安装成功
[root@hadoop102 software]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
1.5.Hadoop 目录结构
[root@hadoop102 hadoop-3.1.3]# ll
总用量 176
drwxr-xr-x. 2 ola ola 183 9月 12 2019 bin
drwxr-xr-x. 3 ola ola 20 9月 12 2019 etc
drwxr-xr-x. 2 ola ola 106 9月 12 2019 include
drwxr-xr-x. 3 ola ola 20 9月 12 2019 lib
drwxr-xr-x. 4 ola ola 288 9月 12 2019 libexec
-rw-rw-r--. 1 ola ola 147145 9月 4 2019 LICENSE.txt
-rw-rw-r--. 1 ola ola 21867 9月 4 2019 NOTICE.txt
-rw-rw-r--. 1 ola ola 1366 9月 4 2019 README.txt
drwxr-xr-x. 3 ola ola 4096 9月 12 2019 sbin
drwxr-xr-x. 4 ola ola 31 9月 12 2019 share
(1)bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
(2)etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
(3)lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
(4)sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
(5)share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例