Windows下搭建本地hadoop环境

最新推荐文章于 2024-07-21 19:41:19 发布

oyezitan

最新推荐文章于 2024-07-21 19:41:19 发布

阅读量3.7k

点赞数 2

分类专栏：大数据/云计算

本文链接：https://blog.csdn.net/goodmentc/article/details/80946431

版权

大数据/云计算专栏收录该内容

12 篇文章 0 订阅

订阅专栏

一、安装JDK

下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
我的电脑是64位win10，下载了jdk-8u45-windows-x64.exe

安装

双击安装，安装到目录：D:\soft\JDK1.8

配置

环境变量配置：
在环境变量添加系统变量：JAVA_HOME：D:\soft\JDK1.8
在path中添加：
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin

验证

在cmd终端执行命令：java
如果没有报错，且打印出相关信息，说明安装成功。

二、安装Hadoop

2.1 下载Hadoop

下载地址：http://hadoop.apache.org/releases.html
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
选择适当的稳定版本2.7.6，点击“binary” 即可开始下载。
Hadoop的Linux版本和Windows版本共用：hadoop-2.7.6.tar.gz

2.2 安装Hadoop

将Hadoop安装文件解压到指定目录：D:\develop\hadoop-2.7.6

2.3 配置Hadoop的环境变量

在path中添加： D:\develop\hadoop-2.7.6\bin

2.4 配置Hadoop文件

1.编辑“D:\develop\hadoop-2.7.6\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存。

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/develop/hadoop/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/develop/hadoop/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.编辑“D:\develop\hadoop-2.7.6\etc\hadoop”目录下的hdfs-site.xml，粘贴以下内容并保存。

<configuration>

    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/develop/hadoop/workplace/data</value>
    </property>

</configuration>

3.编辑“D:\develop\hadoop-2.7.6\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存。

<configuration>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>

</configuration>

4.编辑“D:\develop\hadoop-2.7.6\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存。

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

</configuration>

5.编辑“D:\develop\hadoop-2.7.6\etc\hadoop”目录下的hadoop-env.cmd文件，加入JAVA_HOME的路径，然后保存。

export JAVA_HOME=${JAVA_HOME}

2.5 替换文件

下载地址：
https://download.csdn.net/download/goodmentc/10528799
解压，将全部bin目录文件替换hadoop目录下的bin目录。

2.6 运行hadoop

1.运行cmd窗口，执行：hdfs namenode -format。
2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。

2.7 验证

Resourcemanager GUI 地址 – http://localhost:8088
Namenode GUI 地址 – http://localhost:50070
如果这两个地址都能够打开，说明运行成功。

第一次运行成功，第二次运行http://localhost:50070 报错：
```
bindexception address already in use:0.0.0.0:50070 
```
查看端口50070： netstat -ano|findstr 50070
发现端口并没有被占用。
按照网上的方法：
- 暂停所有Hadoop进程；
- 清除core-site.xml、hdfs-site.xml文件中配置的所有目录文件
- 重新hdfs namenode -format
  重新运行D:\develop\hadoop-2.7.6\sbin/start-all.cmd，结果还是报错。
  怀疑是其他软件影响导致，于是，关闭了360卫士和360杀毒等软件，保留了谷歌浏览器。重复上述方法，OK啦！

2.8 上传文件测试

2.8.1 创建输入目录

hadoop fs -mkdir hdfs://localhost:9000/user/

上传数据到目录

hadoop fs -put D:\test\README.txt hdfs://localhost:9000/user/wcinput

查看文件

终端执行命令hadoop fs -ls hdfs://localhost:9000/user/wcinput
D:\develop\hadoop-2.7.6>hadoop fs -ls hdfs://localhost:9000/user/wcinput
Found 1 items
-rw-r–r– 1 tancan supergroup 1366 2018-07-06 22:19 hdfs://localhost:9000/user/wcinput/README.txt

–发现文件已经存在。