Windows 安装hadoop 3.1.3

爱思考的People

已于 2024-04-07 15:57:05 修改

阅读量2.2k

点赞数 44

文章标签： hadoop 大数据分布式

于 2024-04-07 13:09:27 首次发布

本文链接：https://blog.csdn.net/herry16354/article/details/137454867

版权

本文详细指导了如何在Windows1064位系统上安装Hadoop3.1.3版本，包括JDK1.8的安装、环境变量配置、Hadoop的解压、配置文件的编辑以及启动步骤，最后验证了Hadoop服务的正常运行。

摘要由CSDN通过智能技术生成

一、安装环境

Win10 64位
hadoop 3.1.3
jdk1.8

1. 解压hadoop

把下载的hadoop-3.1.3.tar.gz压缩包解压到自己要安装的位置

2.配置环境变量

（1）创建系统变量 HADOOP_HOME，变量值为解压的目录

（2）在path变量中添加 hadoop的 bin 和 sbin 路径

%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

3.验证是否安装成功

进入cmd，输入命令hadoop version查看hadoop是否安装成功

四、配置 hadoop

1. 进入hadoop-3.1.3目录,创建 data 文件夹

2.进入data目录,创建datanode和namenode文件夹

3.进入hadoop-3.1.3\etc\hadoop目录，用记事本或者其他编辑器打开如下文件并配置

（1）配置文件core-site.xml,添加

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（2）编辑文件hdfs-site.xml,添加

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop313/hadoop-3.1.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop313/hadoop-3.1.3/data/datanode</value>
    </property>
</configuration>

这里要把两个“<value>”改成自己hadoop安装的地址。

（3）编辑文件mapred-site.xml,添加

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）编辑文件yarn-site.xml，添加

<configuration>
 
<!-- Site specific YARN configuration properties -->
 
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
 
</configuration>

4. 进入hadoop-3.1.3\sbin目录，修改 start-yarn.cmd的yarn路径

此处是为了解决电脑中安装过node.js的重名命令yarn，所以在运行hadoop的yarn的时候需要制定其yarn路径，打开start-yarn.cmd文件，修改其yarn路径，代码如下：

@rem start resourceManager
start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn resourcemanager
@rem start nodeManager
start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn nodemanager
@rem start proxyserver
@rem start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn