hadoop伪分布式安装配置

一. 环境准备

• hadoop-3.1.3.tar.gz
• jdk-8u162-linux-x64.tar
• ubuntukylin-16.04-desktop-amd64.iso

二. 安装Java环境

1.上传jdk-8u162-linux-x64.tar，并解压

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
sudo tar -zxvf ~/jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

2.配置环境变量

vim ~/.bashrc

source ~/.bashrc
java -version

三. 安装 Hadoop3.1.3

1.上传jdk-8u162-linux-x64.tar，并解压

sudo tar -zxf ~/hadoop-3.1.3.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop
sudo chown -R hadoop ./hadoop
cd /usr/local/hadoop
./bin/hadoop version

Hadoop伪分布式配置

1.修改配置文件 core-site.xml

cd /usr/local/hadoop/etc/hadoop/
vim ./etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 修改配置文件 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

3.执行 NameNode 的格式化

cd /usr/local/hadoop
./bin/hdfs namenode -format

4.开启 NameNode 和 DataNode 守护进程
首先修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh
添加 export JAVA_HOME/usr/lib/jvm/jdk1.8.0_162
否则启动会报

cd /usr/local/hadoop
./sbin/start-dfs.sh
jps

5. 关闭 Hadoop

下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！

参考文档：厦门大学《Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)》