windows环境搭建hadoop

 

1、hadoop官网下载安装包

2、 除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址:

https://github.com/steveloughran/winutils

注意比如你hadoop下载的是2.8版本, 那么这个类库你也要用2.8的. 下载完了把里面所有的dll等文件和winutils.exe都覆盖到hadoop目录的bin子目录下去.

3、配置环境变量，把hadoop的bin目录配置到Path中去

4、进入etc/hadoop,先要配置hadcoop-env.cmd: 这个文件唯一要配置的地方是:

       set JAVA_HOME=C:\Java\jdk1.8.0_121  

尤其要注意的一点是如果你的Java装在Program Files这样带空格的文件夹下的话, 一定要把这个文件夹命名为不带空格的名字, 或者用 "C:\PROGRA~1" 来表示 "C:\Program Files", 否则会报错.

5、etc\hadoop\core-site.xml (该文件里面都是一些通用配置)

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

6、etc\hadoop\hdfs-site.xml(该文件是一些与hdfs有关的配置项, 这里别忘了预先建立好datanode和namenode两个目录, 本例中他们在hadoop所在盘符下的hadoop/data/dfs/目录下)

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/hadoop/data/dfs/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/hadoop/data/dfs/datanode</value>
        </property>
</configuration>

 7、etc\hadoop\mapred-site.xml(mapred-site.xml.template去掉template后缀名而来) 

<configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
</configuration>

8、etc\hadoop\yarn-site.xml

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>

 9、运行hadoop:

管理员身份来运行cmd

cd X:/hadoop-2.8.0/bin  
hadoop namenode -format  #一定先要格式化hdfs!!!!!  
  
cd X:/hadoop-2.8.0/sbin  
  
  
start-dfs.cmd   #先启动dfs  
start-yarn.cmd  #再启动yarn  
      
start-all.cmd  #等于上面两条命令的组合  
  
stop-dfs.cmd  
stop-yarn.cmd 

10、页面展示

http://localhost:8088/

http://localhost:50070/

 

转载于:https://my.oschina.net/u/2874009/blog/1800768