windows 下安装 hadoop2.8.0

最新推荐文章于 2022-08-09 09:20:01 发布

柳暗花明_攻城师

最新推荐文章于 2022-08-09 09:20:01 发布

阅读量5.3k

点赞数

分类专栏：大数据

大数据专栏收录该内容

12 篇文章 0 订阅

订阅专栏

原文地址：https://my.oschina.net/chendongj/blog/1629808

前置条件：已安装jdk8.0或以上版本

下载：hadoop-2.8.0.tar.gz

下载路径：http://archive.apache.org/dist/hadoop/common/hadoop-2.8.0/

1.解压到硬盘目录：

2.配置环境变量

配置到环境变量HADOOP_HOME中，在PATH里加上%HADOOP_HOME%\bin；

3.获取依赖文件：hadoop.dll & winutils.exe For hadoop-2.8.0

把文件丢到D:\software\tool\hadoop2.8\hadoop-2.8.0\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份；

4去D:\software\tool\hadoop2.8\hadoop-2.8.0\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.启动windows命令行窗口，进入D:\software\tool\hadoop2.8\hadoop-2.8.0\bin目录，执行下面2条命令，先格式化namenode再启动hadoop

执行：

在sbin目录执行：

start-all.cmd

通过jps命令可以看到4个进程都起来了，到这里hadoop的安装启动已经完事了。

接着我们可以用浏览器到localhost:8088看mapreduce任务，到localhost:50070->Utilites->Browse the file system看hdfs文件。如果重启hadoop无需再格式化namenode，只要stop-all.cmd再start-all.cmd就可以了。