win10下配置hadoop环境

最新推荐文章于 2023-04-17 17:01:58 发布

opɹɐɔıᴚ

最新推荐文章于 2023-04-17 17:01:58 发布

阅读量2k

点赞数 4

分类专栏：博客 hadoop win10 文章标签： hadoop hdfs

本文链接：https://blog.csdn.net/weixin_42777504/article/details/107122054

版权

博客同时被 3 个专栏收录

3 篇文章 0 订阅

订阅专栏

hadoop

2 篇文章 3 订阅

订阅专栏

win10

2 篇文章 0 订阅

订阅专栏

1.安装背景

由于大数据原理课设要求配置hadoop环境，由于在虚拟机中配置hadoop比较卡，并且偶然得知可以在win下配置hadoop环境，便决定尝试在win10下进行hadoop尝试。

2.安装前提

需要下载并且配置好JAVA环境，这里推荐使用的java的JDK版本为1.8，因为在网上查询相关资料时普遍反映1.9以上容易报错。

3.下载相关压缩包

点击访问Apache-hadoop安装包下载页面
这里选择下载的是hadoop2.8.3版本
在这里插入图片描述
将下载后的文件解压后，放在D盘下，文件结构示意如下

接着去这个网页 https://github.com/steveloughran/winutils
下载别人编译好的，与你hadoop对应的二进制文件，并且覆盖到你的hadoop目录下

将这个文件夹完整复制到你的hadoop目录下
在这里插入图片描述

4.相关文件配置

之后进入hadoop-2.8.3的etc目录下
修改以下文件

core-site.xml 这是为了进行hdfs访问端口的配置

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml 这里设置复制数为1，为namenode文件路径以及datanode数据路径。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

配置hadoop-env.cmd
这里就是容易踩坑的点，因为我们大部分人的JAVA都是放在C盘的progra file 路径下，但是这里设置的时候不允许出现空格，因此可以采用下面的方法。

先用记事本或者notepad++(建议notepad++)，打开hadoop-env.cmd
打开cmd，输入 set JAVA_HOME
如果java环境配好的话，可以看到当前电脑jdk的路径，可以看到，文件路径中存在空格
3.在用记事本打开hadoop-env.cmd里，在最后一行输入
```
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_131
```
因为PROGRA~1是 C:\Program Files 目录的dos文件名模式下的缩写
对于长于8个字符的文件名和文件夹名，都被简化成前面6个有效字符，后面~1，有重名的就 ~2, ~3