hadoop3分布式环境基础搭建

本篇问hadoop3最基础搭建。

目录

一、hadoop简介

二、hadoop3伪分布式搭建

2.1 安装及配置

2.2 启动

2.3 测试

三、全分布式搭建

3.1 node01安装及配置

3.2 node02~node04配置

3.3 启动

3.3 测试

---

一、hadoop简介

二、hadoop3伪分布式搭建

在虚拟机上配置一台hadoop伪分布式环境（一台机器上配置namenode和datanode），测试的时候用windows下浏览器测试。

2.1 安装及配置

安装

在官网下载hadoop-3.1.2.tar.gz，地址为http://mirrors.hust.edu.cn/apache/ ，解压到/myapp目录下（集群中都需安装，这个软件为绿色版，解压后即可使用）:

tar -xzvf hadoop-3.1.2.tar.gz -C /myapp/

配置hadoop环境变量

vi /myapp/hadoop-3.1.2/etc/hadoop/hadoop-env.sh 

# 在最后一行添加如下内容（JAVA_HOME根据实际JAVA安装路径决定）：
export JAVA_HOME=/export/servers/jdk             # JAVA_HOME路径，可用echo $JAVA_HOME获得
export HDFS_NAMENODE_USER=root                   # 为hadoop配置三个角色的用户
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMEDODE_USER=root

配置主节点

vi /myapp/hadoop-3.1.2/etc/hadoop/core-site.xml 

 core-site.xml中configuration标签内容修改如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>       # 主节点名称和hadoop3的端口！
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/myapp/hadoop-3.1.2/temp</value>       # 自定义hadoop的临时目录，不修改为系统临时目录，容易丢失，比较危险
    </property>
</configuration>

配置副本放置策略

vi /myapp/hadoop-3.1.2/etc/hadoop/hdfs-site.xml 

hdfs-site.xml中configuration标签内容修改如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>                 # 表示放置的副本数，在此为伪分布式，所以为1，因为只有一台机器
    </property>
    <property&