CentOS7搭建Hadoop分布式文件系统

一、准备

1. jdk1.8：我安装的是jdk8，在官网下载jdk-8u271-linux-x64.tar.gz
2. hadoop：在官网下载Hadoop，版本2.10.1
3. ant：在官网下载1.9.15 .tar.gz（只是搭建Hadoop分布式文件系统不需要安装）
4. VMware Workstation Pro v16.1.0 ：官网下载
5. CentOS7：阿里云镜像下载
6. 安装至少两台CentOS7虚拟机，一台作为namenode，一台作为datanode，打开ssh连接，如果无法连接网络，请参考CentOS7虚拟机无法上网的解决方法

二、环境配置

1. 卸载openjdk，安装jdk1.8，具体操作参考文章CentOS7安装jdk1.8，在这里我的安装目录为/usr/java8
2. 安装Hadoop

# 解压文件
tar -zxvf hadoop-2.10.1.tar.gz
# 将文件夹移动到你想要的位置
mv hadoop-2.10.1 /usr/hadoop

# 配置Hadoop环境变量
vim /etc/profile
# 文章底部添加
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 重新加载/etc/profile
source /etc/profile

# 查看是否配置成功
hadoop version
# 出现下面的代码即配置成功
# Hadoop 2.10.1
# Subversion https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816
# Compiled by centos on 2020-09-14T13:17Z
# Compiled with protoc 2.5.0
# From source with checksum 3114edef868f1f3824e7d0f68be03650
# This command was run using /usr/hadoop/share/hadoop/common/hadoop-common-2.10.1.jar

3. 安装ant

# 解压文件
tar -zxvf apache-ant-1.9.15-bin.tar.gz
# 将文件夹移动到你想要的位置
mv apache-ant-1.9.15 /usr/ant

# 配置环境变量
export ANT_HOME=/usr/ant
export PATH=$PATH:$ANT_HOME/bin

# 重新加载/etc/profile
source /etc/profile

#查看是否配置成功
ant -version
# 出现Apache Ant(TM) version 1.9.15 compiled on May 10 2020说明配置成功

三、修改hadoop配置文件

下面的操作只需要在作为namenode的虚拟机上做即可！！！

1.创建文件夹

cd $HADOOP_HOME
mkdir namenode datan