win10安装hadoop2.7

首先下载hadoop.tar.gz

官网地址http://hadoop.apache.org/releases.html

我是用的是hadoop-2.7.6.tar.gz

继续下载

hadooponwindows-master.zip

可以自行百度，或私信我

需要安装java jdk配置JAVA_HOME 自行查找

资源准备就绪 开始搭建

配置HADOOP_HOME与JAVA_HOME同样配置方式

将 hadooponwindows-master.zip解压后的\bin目录 完全覆盖hadoop-2.7.6\bin目录

下列文件均在 hadoop-2.7.6\etc\hadoop下

core-site.xml 配置如下

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/bigDateSoft/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/E:/bigDateSoft/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

mapred-site.xml 配置如下（如果找不到mapred-site.xml 通过修改mapred-site.xml.template 将.template删除掉获得）

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

hdfs-site.xml 配置如下

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/E:/bigDateSoft/workplace/data</value>
    </property>


    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/E:/bigDateSoft/workplace/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/E:/bigDateSoft/workplace/data</value>
    </property>
</configuration>

yarn-site.xml 配置如下

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

hadoop-env.cmd

防止出现问题

JAVA_HOME直接指定绝对路径 @rem是注释修饰符

@rem set JAVA_HOME=%JAVA_HOME%

@rem set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_101

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_101

因为Program Files中间有空格，无法识别所以使用PROGRA~1代替

初始化hdfs

hdfs namenode -format

进入sbin目录启动项目

start-all.cmd

（打包jar后无法在spark内运行）

打开jar包

打开META-INF目录，将*.SF,*.DSA,*.RSA文件删除