Windows10环境下安装Hadoop2.7.3伪分布式

一般情况下都是在Linux环境安装Hadoop，Windows下也可以安装Hadoop，以下是Windows环境下的安装教程。

 

1.Windows下安装jdk1.8

    点这里安装jdk1.8

 

2.下载Hadoop

下载hadoop2.7.3的安装包: hadoop-2.7.3.tar.gz

下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

 

3.解压hadoop-2.7.3.tar.gz到某个目录，例如: D:\soft下

进入hadoop-2.7.3目录下看到如下目录和文件

 

4.配置环境变量

右键此电脑-->属性-->高级系统设置-->环境变量-->系统变量-->新建

4.1.添加HADOOP_HOME

变量名：填入HADOOP_HOME

变量值：填入解压后的路径，例如D:\soft\hadoop-2.7.3

4.2.添加PATH

点击系统变量下的Path-->编辑

点击新建-->填入%HADOOP_HOME%\bin

再次点击新建-->填入%HADOOP_HOME%\sbin

确定-->确定-->确定

 

5.替换bin和etc目录

下载hadooponwindows-master.zip

下载地址：https://pan.baidu.com/s/14pBNz74a3HZxi7kGy8850w  提取码：9q9m

下载下来后，解压后能看到bin和etc两个目录

（关键步骤）将hadooponwindows-master下的bin和etc目录复制到HADOOP_HOME目录中，覆盖原有的bin和etc目录

 

6.配置hadoop伪分布式

进入HADOOP_HOME/etc/hadoop目录

6.1 修改hadoop-env.cmd

给HADOOP指定JAVA_HOME:   找到set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_171一行，等号后面的路径改成自己的JAVA_HOME路径（特别注意：路径不能包含空格）

6.2 配置core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
	<property>
		<name>hadoop.tmp.dir</name>
 		<value>/D:/soft/hadoop-2.7.3/tmp</value>
 	</property>

 

 

6.3 配置hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

 

6.4 配置mapred-site.xml

    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

 

6.5 配置yarn-site.xml

    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>

 

7.格式化HDFS文件系统

按Win+R组合键进入cmd，输入如下命令：

hdfs namenode -format

 

8.启动集群

8.1启动HDFS

start-dfs.sh

启动了namenode 

 

启动了datanode 

8.2启动YARN

start-yarn.cmd

启动了resourcemanager 

 

启动了nodemanager

 

9.验证

9.1 命令验证

jps

执行jps命令，正常情况下可看到NameNode、DataNode、ResourceManager、NodeManager共4个进程

 

 

9.2 Web验证

浏览器输入localhost:50070

浏览器输入localhost:8088

9.3 跑Hadoop自带的WordCount程序验证

准备一个测试文件1.txt，内容为

Hello World
Hello Hadoop

将1.txt文件上传到HDFS 根目录 

hdfs dfs -put 1.txt /

切换到HADOOP_HOME/share/

C:\Users\Administrator>d:

D:\>cd soft\hadoop-2.7.3\share\hadoop\mapreduce

 运行word count程序

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /1.txt /output

 等待程序运行完成

查看/output的输出结果

hdfs dfs -cat /output/part-r-00000

 

 

 

完成！ enjoy it！