windows安装hadoop

准备工作

1.JDK
2.hadoop-2.7.7（下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/）
3.hadooponwindows-master.zip（网盘链接如下：https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
提取码：y9a4）
4.下载winRAR(用自带解压可能会报错)

设置Java、Hadoop环境变量

安装hadoop

1. 将压缩包进行解压，管理员权限打开CMD，切换到hadoop目录下， 输入start winrar x -y hadoop-2.7.7.tar.gz 执行解压
2. 解压完成后，使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc
3. 进入hadoop/etc下，进入hadoop-env.cmd设置JAVA_HOME，需要注意如果文件路径中有空格，需要替代，如用PROGRA~1替代
   
   4.在命令行输入hadoop version检查hadoop是否安装成功
   
   出现说明window下hadoop部署成功

开始配置hadoop配置文件

1.配置hdfs-site.xml

<1>. 在hadoop目录下创建新文件夹tmp，在tmp下创建文件夹data及其子文件夹namenode,datanode
<2>.开始配置hdfs-site.xml

<configuration>
<property> 
<name>dfs.replication</name>
 <!-- 这个参数设置为1，因为是单机版hadoop --> 
<value>1</value>
</property> 
<property> 
<name>dfs.permissions</name>
        <value>false</value>
</property> 
<property> 
<name>dfs.namenode.name.dir</name> 
<!-- 此处为刚刚创建namenode文件的路径 --> 
<value>F:/hadoop/data/namenode</value>
 </property> 
<property>
        <name>dfs.datanode.data.dir</name> 
        <!-- 此处为刚刚创建datanode文件的路径 --> 
<value>F:/hadoop/data/datanode</value> 
</property>

<property> 
<name>fs.checkpoint.dir</name> 
<!-- 此处写入自己对应data文件的路径 --> 
<value>F:/hadoop/data/snn</value> 
</property> 
<property> 
<name>fs.checkpoint.edits.dir</name> 
<!-- 此处写入自己对应data文件的路径 --> 
<value>F:/hadoop/data/snn</value> 
</property> 
</configuration>

2.配置mapred-site.xml

<configuration> 
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> </property>`在这里插入代码片`
 </configuration>

3.配置yarn-site.xml

<configuration> 
<property> 
<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> 
</property> 
<property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hahoop.mapred.ShuffleHandler</value> 
</property> 
</configuration>

4.配置core-site.xml

<configuration> 
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://localhost:9000</value> 
</property> 
</configuration>

5.配置core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:E:\hadoop-windows\hadoop-2.7.7\tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
</configuration>

移动两个东西

将hadoop/bin下的hadoop.dll和winutils拷贝到 C:\Windows\System32

启动hadoop

1.格式化namenode
进入hadoop/bin目录下，输入hdfs namenode -format 格式化hdfs，看到seccessfully就说明format成功
2.启动集群
进入hadoop/sbin目录下，输入start-all.cmd启动集群，会出现4个弹窗

3.输入jps命令查看活动程序

查看两个Web页面

1.访问http://localhost:8088,访问yarn的web界面，有就表明已经成功

2.访问http://localhost:50070,访问hadoop的web界面