Hadoop【第十课】：完全分布式安装Hadoop

最新推荐文章于 2024-07-31 22:44:40 发布

zoxiii

最新推荐文章于 2024-07-31 22:44:40 发布

阅读量3.5k

点赞数 1

分类专栏： Hadoop 文章标签： hadoop 分布式 hdfs

本文链接：https://blog.csdn.net/qq_41315788/article/details/121198780

版权

Hadoop 专栏收录该内容

12 篇文章 1 订阅

订阅专栏

本文详细介绍了如何在两台配置好网络的CentOS7虚拟机上进行完全分布式安装Hadoop和JDK。首先，通过下载JDK并配置环境变量实现JDK的安装。接着，下载Hadoop并解压缩，然后配置Hadoop的环境，包括设置JDK路径、HDFS系统、完全分布式以及MapReduce运行在YARN上。整个过程详细到每个配置文件的修改，适合初学者参考。

摘要由CSDN通过智能技术生成

VMware workstation
CentOS 7
完全分布式安装
author：zoxiii

前提有两个(或两个以上)配置好网络的虚拟机，这里用到两个master和slave

1、安装JDK

分别对两个虚拟机都操作，可参考我的另一篇博客完整步骤：虚拟机安装JDK

（1）下载JDK

使用版本：jdk-8u221-linux-x64.tar.gz

（2）传输JDK到虚拟机中

使用XShell传输
在这里插入图片描述

（3）删除虚拟机原有的JDK

# java -version                // 查看自带的Java版本
# rpm -qa |  grep java         // 检查centOS本身的java安装包名称
# rpm -e --nodeps 包的名称      // 删除文件(多个包用空格隔开)
# java -version                // 再检查Java版本应该为空

rpm -e --nodeps tzdata-java-2017b-1.el7.noarch python-javapackages-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64 java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64 javapackages-tools-3.4.1-11.el7.noarch

在这里插入图片描述

（4）安装配置JDK

# mkdir /usr/local/java        // 为java创建一个文件夹       
# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/java    // 解压JDK到/usr/local/文件夹中

# vi /etc/profile              // 打开配置文件,配置环境变量

在文件中将环境变量修改为JDK所在的目录

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile          // 重启配置文件
# java -version                // 检查Java的版本是否已经更新

在这里插入图片描述

2、安装Hadoop

（1）下载Hadoop

使用版本：hadoop-2.7.7.tar.gz

（2）将Hadoop传输到虚拟机中

使用XShell传输
在这里插入图片描述

（3）Hadoop解压缩：查看有哪些配置文件

# mkdir /usr/local/src/hadoop     // 首先为Hadoop新建一个文件夹
# tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/src/hadoop   // 将Hadoop解压到该文件夹中

# cd /usr/local/src/hadoop/hadoop-2.7.7/etc/hadoop/      // 进入到配置文件所在文件夹目录下
# ls       // 查看该目录下的文件

在这里插入图片描述

3、修改配置文件

（1）为Hadoop配置JDK的路径

# vi hadoop-env.sh

修改内容为：

export JAVA_HOME=/usr/local/java/jdk1.8.0_221

（2）配置HDFS系统

# vi core-site.xml

添加如下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop/hadoop-2.7.7/tmp</value>
    </property>
</configuration>

（3）配置完全分布式

（4）配置Hadoop的mapreduce运行在yarn上

①先修改文件名

# mv mapred-site.xml.template mapred-site.xml

# vi mapred-site.xml

添加如下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（5）配置yarn

# vi yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

参考：
[1] Hadoop集群设置
[2] 从零开始学hadoop大数据分析