Hadoop运行环境搭建

一、准备虚拟机（最小化安装）

分区：

/boot引导用区–>1G；；

swap交换区–>2G；标准分区；

/根目录–>剩下的全部；标准分区；ext4

*******************************************************************************

IP和主机名称配置

*******************************************************************************

1.固定ip地址、修改主机名

vi/etc/hostname

hadoop101

vi /etc/syscomfig/network-scripts/ifcfg-ens33

#动态获取地址—>静态获取

BOOTPROTO=“static”

#系统启动的时候网络接口是否有效

ONBOOT=“yes”

#ip地址

IPADDR=192.168.2.101

#网关

GATEWAY=192.168.2.2

#域名解析器

DNS1=192.168.2.2

重启网络服务，查看网络是否改成功

systemctl restart network//重新启动

ip addr//查看ip

配置VM的ip地址

配置Windows的ip地址

2.用xshell工具连接模板机 远程登录xshell

一些设置，选中复制，右键粘贴

Windows下更改ip地址名称，为了xshell操作连接Linux的时候，可以直接主机名进行连接；在Linux里配置是为了以后多台Linux互相访问也可以直接访问主机名来连接。

C:WindowsSystem32driversetchosts

#添加如下

192.168.2.101hadoop101

192.168.2.102 hadoop102

…

3.通过yum安装方式安装一些必要软件

yum install -y epel-release

yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

4.关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

5.修改hosts文件

vim /etc/hosts

#添加如下

192.168.2.100 hadoop100

192.168.2.101hadoop101

192.168.2.102 hadoop102

192.168.2.103 hadoop103

192.168.2.104 hadoop104

192.168.2.105 hadoop105

192.168.2.106 hadoop106

192.168.2.107 hadoop107

192.168.2.108 hadoop108

6.创建普通用户（gyy）并提升他能拥有root权限

提升root权限可以看这个博主的文章，写的好详细（给自己留档，嘻)

Linux系统通过文件/etc/sudoers设置用户使用sudo的权限/用户使用sudo的授权配置_liaowenxiong的博客-CSDN博客_sudoers 用户权限配置

gyy

gyy202203

vim /etc/sudoers

#ROOT下添加

gyy ALL=(ALL) NOPASSWD: ALL

7.在Linux的/opt目录下创建software和module，并把两个目录的所有者和所属组修改为gyy

cd /opt

[root@hadoop101 opt]# mkdir software
[root@hadoop101 opt]# mkdir moudle

[root@hadoop101 opt]# chown gyy:gyy moudle/ software/
#把两个目录的所有者和所属组修改为gyy

三、克隆虚拟机

下一页—>下一页–>创建完整克隆–>改机器名和存储地址

克隆完毕后，启动克隆机，更改克隆机名和ip地址

vim /etc/syscomfig/network-scripts/ifcfg-ens33

vim /etc/hostname

重启

reboot

四、在Hadoop102中安装 jdk

– 将jdk的安装包上传到 /opt/software 下

使用xftp工具

选中、右键传输

传输完成后，在xshell中查看

cd /opt/software

– 将jdk安装到 /opt/module 下

直接将jkd的压缩文件解压到/opt/module路径下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C …/module/

– 配置jdk的环境变量

vim /etc/profile

#系统环境变量的描述

– 在/etc/profile.d 目录下创建自定的配置文件 my_env.sh

[gyy@hadoop102 profile.d]$ sudo touch my_env.sh

#普通用户，带sudo可以拥有管理员权限进行操作（一、6.）

– 在my_env.sh写入以下内容

#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#将JAVA_HOME变量追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin
#提升JAVA_HOME变量为系统变量
export JAVA_HOME PATH

在任意位置检查一下

source /etc/profile #重新加载一下profile文件

java -version

五、在Hadoop102中安装Hadoop

– 将hadoop的安装包上传到 /opt/software 下

– 将hadoop安装到 /opt/module 下

[gyy@hadoop102 software]$ cd /opt/software
[gyy@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C ../module/^C
[gyy@hadoop102 software]$ cd ../module
[gyy@hadoop102 module]$ ll
总用量 8
drwxr-xr-x. 9 gyy gyy 4096 9月  12 2019 hadoop-3.1.3
drwxr-xr-x. 7 gyy gyy 4096 4月   2 2019 jdk1.8.0_212
[gyy@hadoop102 module]$ 

– 配置hadoop的环境变量

– 在my_env.sh写入以下内容

#配置JDK的环境变量
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#配置HADOOP的环境变量
#声明HADOOP_HOME变量
HADOOP_HOME=/opt/module/hadoop-3.1.3
#将JAVA_HOME变量追加到PATH变量上
#将HADOOP_HOME/bin 、HADOOP_HOME/sbin 追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#提升JAVA_HOME、PATH、HADOOP_HOME 变量为系统变量,
export JAVA_HOME PATH HADOOP_HOME

#重新加载一下profile文件

[gyy@hadoop102 hadoop-3.1.3]$ source /etc/profile#sync重启命令也行
[gyy@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[gyy@hadoop102 hadoop-3.1.3]$ 

在Hadoop/bin目录下常用的文件

在hadoop/etc/hadoop下常用的文件

capacity-scheduler.xml：容量调度器（yarn用）