2021-09-08

最新推荐文章于 2024-10-19 11:32:18 发布

勇敢牛牛

最新推荐文章于 2024-10-19 11:32:18 发布

阅读量279

点赞数

文章标签： hadoop windows big data

本文链接：https://blog.csdn.net/qq_50089743/article/details/120172173

版权

最新Windows上安装运行Hadoop指南，小白入门！！！

1.下载安装JDK

并设置JAVA_HOME。一般在 c:\Program Files 路径下

JDK安装教程：https://jingyan.baidu.com/article/1709ad805318544635c4f042.html

2.下载hadoop

https://archive.apache.org/dist/hadoop/common/

在这里插入图片描述

在这里插入图片描述
下载 hadoop-2.8.3.tar.gz 放置在 F盘（建议放在F盘根目录下），并解压

3.下载winutils

下载地址：https://github.com/steveloughran/winutils

在这里插入图片描述

下载后解压，复制bin文件夹。
进入 hadoop-2.8.3在空白处粘贴刚才复制的bin文件夹，替换原来的bin文件夹。在这里插入图片描述

进入bin目录，复制hadoop.dll和winutils.exe到: C:\Windows\System32下。

hadoop环境变量设置

在本地配置Hadoop的环境变量HADOOP_HOME中，在PATH里加上%HADOOP_HOME%\bin；

在这里插入图片描述

变量值放你的Hadoop路径(上面讲的：F\Hadoop-2.8.3)

4.修改配置文件

例如去F:\hadoop-2.8.3\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：
①core-site.xml
复制后粘贴到文件中

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

在这里插入代码片
②hdfs-site.xml（设置复制数为1，即不进行复制。）

`<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

在这里插入代码片

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>```

在这里插入代码片

④yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>```

``

在这里插入代码片
⑤hadoop-env.cmd

# 将
set JAVA_HOME=%JAVA_HOME%
# 修改为
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_77

5.格式化hdfs
进入F:\hadoop2.8.3\hadoop-2.8.3\bin目录，格式化hdfs

在cmd中运行命令 hdfs namenode -format

6.在start-all.cmd文件最上方加入hadoop文件所在位置目录。

在这里插入图片描述

7.进入F:\hadoop2.8.3\hadoop-2.8.3\sbin目录
在cmd中运行命令start-all.cmd
8.查看当前已启动的相关服务

F:\hadoop-2.8.3\sbin>jps
4944 DataNode
5860 NodeManager
3532 Jps
7852 NameNode
7932 ResourceManager
9.关闭Hadoop
执行stop-all.cmd关闭Hadoop