Hadoop3伪分布式安装

Paradox001

已于 2023-08-30 10:56:44 修改

阅读量313

点赞数 2

分类专栏： Hadoop 文章标签：分布式

于 2023-08-30 10:53:57 首次发布

本文链接：https://blog.csdn.net/Paradox001/article/details/132575674

版权

Hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

实验环境

VM14以上+centos7+hadoop-3.3.6

一个结点

jdk1.8解压在/opt/jdk1.8

hadoop解压在/usr/hadoop3

一、虚拟机的安装

双击VMware图标，看到如下界面

自定义新的虚拟机

解决虚拟机的兼容性

选择当前虚拟机的操作系统

我们先配置电脑，再安装系统。

选择虚拟机将来需要安装的系统

因为不同的操作系统需要解决不同的兼容性问题，所以需要选择将来用什么系统，提前做适配。

2.1.6 配置电脑

给自己配置电脑取个名字，并存放在物理机的位置在哪。

2.1.7 选择CPU的个数

有个原则就是选满（跟物理机的CPU个数相同，但是不能超过）

1）查看物理机CPU个数（Windows10为例）

2）设置虚拟机处理器的数量

2.1.8 设置虚拟机的内存

内存大小有一定要求，建议4G，不能给太多，后期会有多台虚拟机同时启动

2.1.9 选择虚拟机上网方式

1）选择NAT的方式

2）没有VMware之前物理机的网络适配器信息（每个人不同，我只有3个）

3）安装VMware之后物理机的网络适配器信息（会多两个vmnet1和vmnet8）

注：vmnet8是虚拟机使用NAT模式上网的网卡

2.1.10 选择对应的文件系统的IO方式

2.1.11 选择磁盘的类型

2.1.13 选择虚拟机的磁盘大小

2.1.14 虚拟机文件的存放位置

2.1.15 电脑配置完毕

二、安装系统（CentOS7）

下载centos7镜像文件到本地

一、官网下载地址

CentOS Mirrors List

二、清华大学下载地址

Index of /centos/7.9.2009/isos/x86_64/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

三、阿里下载地址

centos-7-isos-x86_64安装包下载_开源镜像站-阿里云

注意：在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开（大部分的电脑都是打开的，大家可以先尝试直接安装，如果出现错误再去调试，没有出错就不用管了）

以下是查看虚拟机bios是否开启的方式
（1）window10

2.2.1 选择cd/dvd的方式安装系统

注意：要勾选启动时连接！并且要选择centos7文件的本地位置

2.2.2 系统安装引导界面

你得需要将鼠标点击进入界面中，但是鼠标会消失，你此刻得用键盘的上下键来控制选项，图标变白了表示当前选中的是哪个选项，然后敲回车，表示执行所选选项。

注意：如果这个时候你需要鼠标可以使用ctrl+alt一起按呼出鼠标

（1）耐心等待它的安装

（2）会自动跳转下面的界面

2.2.3 需要定制化的内容

按照编号依次点击

1）调整时间差

2）安装GHOME（图形化界面的方式）注意图上标注的点击顺序

3）配置磁盘分区（这儿可以默认也可以按照一下步骤）

（1）手动添加分区

（2）添加boot区给上1G容量后点击添加挂载点

（3）添加swap交换分区

（4）配置根(/)目录

根目录作为存储使用，将剩下的空间都给他（50 - 4 - 1）= 45

3个分区都配置完毕过后可以点击完成

（5）分区配置完毕，点击接受更改

4）关闭kdump本身虚拟机内存就不够，他会吃掉一部分内存，我们尽量省一点

5）修改主机名

6）是否打开安全协议（开启与否都可以）

7）开始安装

8）安装时间比较长，大概需要10几分钟（设置root用户密码，一定要设置）

密码设置成什么自己决定，但是不要忘

2.2.4 虚拟机的使用引导界面

1）安装完成重启虚拟机

2）进入引导界面（以下内容就按照图片走，就不做过多解释）

安装完成

2.2.5 切换root用户

当前登录的用户是刚刚创建的用户，权限会缺少，所以使用root，修改一些内容更加方便

1）切换root用户

刚才的引导再来一遍（就不再放图片了）

三、网络配置

对安装好的VMware进行网络配置，方便虚拟机连接网络，本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

2.3.1 编辑VMware的网络配置

然后全部点击确定，VMware的网络配置就好了。

2.3.2 Windows的网络配置

以下以Window10为例

1）找到

按如上格式修改IP信息（地址，网关，DNS服务器），修改完毕后全部点击确定退出。

2.4 虚拟机网络IP修改地址配置

1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

[root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33

2）以下加粗的项必须修改，有值的按照下面的值修改，没有该项的则需要增加。

3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出

4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

[root@hadoop100 ~]# systemctl restart network

5）使用ifconfig命令查看当前IP

[root@hadoop100 ~]# ifconfig

6）最好保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

7)关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld

systemctl disable firewalld.service

四、Hadoop集群搭建

1、配置jdk环境变量

执行命令：

vim /etc/profile

在文件末尾插入如下代码：

export JAVA_HOME=/opt/jdk1.8

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

生效JDK

source /etc/profile

2、配置SSH免密登录

# 执行该命令后遇到提示信息，一直按回车就可以

ssh-keygen -t rsa

# 将你的公共密钥填充到一个远程机器上的authorized_keys文件中，注意将下边命令里的hadoop修改为自己主机的名字

ssh-copy-id hadoop100

3、配置HADOOP环境变量

执行命令：

vim /etc/profile

在文件末尾插入如下代码：

export HADOOP_HOME=/usr/hadoop3

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效环境变量

source /etc/profile

4、配置伪分布式集群

（1）修改配置文件

进入hadoop所在配置文件目录，例如/usr/hadoop3/etc/hadoop

在此目录打开终端

1.hadoop-env.sh

执行命令

vim hadoop-env.sh

在文件中添加如图所示代码：

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export JAVA_HOME=/opt/jdk1.8

HADOOP_SHELL_EXECNAME=root

2.core-site.xml

执行命令

vim core-site.xml

添加如下代码

              <configuration>

                     <property>

                            <name>fs.defaultFS</name>

                            <value>hdfs://hadoop100:9000</value>

                     </property>

                     <property>

                            <name>hadoop.tmp.dir</name>

                            <value>file:/usr/hadoop3/tmp</value>

                     </property>

                     <property>

                <name>hadoop.http.staticuser.user</name>

                <value>root</value>

               </property>

</configuration>

#注意将ip和tmp路径更换称自己的定义的

3.hdfs-site.xml

执行命令

vim hdfs-site.xml

添加如下代码

<configuration>

               <property>

                <name>dfs.namenode.name.dir</name>

                <value>/usr/hadoop3/hdfs/name</value>

               </property>

               <property>

                <name>dfs.datanode.data.dir</name>

                <value>/usr/hadoop3/hdfs/data</value>

               </property>

               <property>

                <name>dfs.replication</name>

                <value>1</value>

               </property>

</configuration>

4.mapred-site.xml

执行命令

vim mapred-site.xml

添加如下代码

<configuration>

               <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

               </property>

</configuration>

5.yarn-site.xml

执行命令

vim yarn-site.xml

添加如下代码:

              <configuration>

               <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop</value>

               </property>

               <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

               </property>

</configuration>