Hadoop的安装

Windows下安装

下载Hadoop

• 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
• 这里用的是清华的开源镜像 
   

选择你要下载的版本，下载后直接解压在你喜欢的目录即可。

下载winutils

• 下载地址：https://github.com/steveloughran/winutils
• winutils的版本要与Hadoop一致
• GitHub上暂时没有2.9.0的版本，而镜像稳定版的版本为2.9.0。所以最好选择其他版本。
• 下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin
  

配置Hadoop

• 配置环境变量
  在Path中添加路径，即添加你Hadoop的安装路径，eg：“D:\hadoop\bin”
• 配置hadoop文件 
  所有的配置文件都在H:\hadoop-3.0.0\etc\hadoop目录下,使用Notepad++/记事本/..打开.
  
  文件1：D:\hadoop\etc\hadoop\hadoop-env.cmd,注：jdk路径不可以有空格
  如果路径为C:\Program Files\Java\jdk1.8.0_91的话，用PROGRA~1替代Program Files
  
  
  文件2：D:\hadoop\etc\hadoop\core-site.xml


  <configuration>
    <property>  
　　　　<name>fs.default.name</name>  
　　　　<value>hdfs://localhost:9000</value>  
　　 </property>     
  </configuration>

      文件3：D:\hadoop\etc\hadoop\hdfs-site.xml

<configuration>
<property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
</property> 
</configuration>

      文件4： D:\hadoop\etc\hadoop\mapred-site.xml  mapred-site.xml是复制mapred-site.xml.template,去掉template

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

       文件5： D:\hadoop\etc\hadoop\yarn-site.xml  

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

启动Hadoop
进入到hadoop–>bin目录下,shift+右键 打开命令行..win8的话建议使用管理员运行cmd

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs  
start-yarn.cmd  //再启动yarn  
//或者
//start-all.cmd //相当于以上的两条命令

启动：在地址栏输入http://localhost:8088 

参考:http://blog.csdn.net/rav009/article/details/70214788