cmd hadoop 不能运行_大数据技术，Hadoop的Windows伪分布式环境部署

在大数据的日常学习开发中，我们会遇到使用集群的情况，尤其在本地开发调试阶段，平时模拟一下数据在本地测试，是非常必要的。今天就来谈一谈，如何使用Windows系统搭建一个小规模的伪分布式集群。

Hadoop的三种运行模式介绍

1、本地运行模式

无需任何守护进程，所有的程序都运行在同一个JVM上执行。在本地模式下调试MR程序非常高效方便，一般该模式主要是在学习或者开发阶段调试使用 。

2、伪分布式模式

Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群，伪分布式是完全分布式的一个特例。

3、完全分布式模式

Hadoop守护进程运行在一个集群上。这种运行模式也就是我们常见的各种云，主要用于大规模的生产环境中。

三种模式集群所需的必须配置

注意：分布式要启动守护进程 ，是指在使用分布式hadoop时，要先启动一些准备程序进程，然后才能使用。比如start-dfs.sh start-yarn.sh，而本地模式不需要启动这些守护进程。

注意：在本地模式下，将使用本地文件系统和本地MapReduce运行器。在分布式模式下，将启动HDFS和YARN守护进程。

二、伪分布式集群的搭建

2.1、 软件准备

windows模拟linux 环境：winutils-masterhadoop

编译后的包：hadoop-2.7.3.tar.gz

windows的hadoop配置：hadoop_windows.zip

hadoop的配置：hadoop_conf.tar

2.2、需要修改通知级别

2.3、压缩文件解压顺序及方法

1 解压hadoop-2.7.3.tar.gz，到C盘的某个目录下；

2 解压winutils-master.zip，将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3bin目录下，注意，千万别覆盖bin目录下的其他文件；

3 解压hadoop_conf.tar， 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3etchadoop目录下；

4 解压hadoop-window.zip，然后将解压的hadoop文件夹内的内容做修改后，替换到hadoop-2.7.3etchadoop。

2.4、在WINDOWS上配置环境变量

1)HADOOP_HOME

2)把hadoop的bin和sbin配置到path环境变量里

;%HADOOP_HOME%bin;%HADOOP_HOME%sbin

2.5、设置hadoop配置文件

core-site.xml

hdfs-site.xml

maprd-site.xml

yarn-site.xml

hadoop-env.cmd

之后，把修改好的配置文件覆盖hadoop-2.7.3etchadoop目录

2.6、测试hadoop命令

打开cmd输入set查看设置的环境变成是否生效

输入hadoop version查看hadoop的版本

2.7、格式化namenode

hadoop namenode -format

2.8、启动hdfs

使用start-dfs.cmd 命令 之后会弹出两个窗口

namenode窗口，如下图

datanode窗口，如下图

之后在电脑上的c盘就能看到tmp目录，里面有namenode文件和datanode文件。启动成功之后就可以查看hdfs的web页面。注意：IP地址。

2.9、启动yarn

使用 start-yarn.cmd 命令 之后弹出两个窗口，分别如下：

resourceManager窗口

nodeManager窗口

通过UI界面，查看yarn的web界面，可以观察伪分布式集群的资源

2.10、测试hdfs是否好用

2.11、开启集群和关闭集群，命令如下

start-all.cmd开启hadoopstop-all.cmd关闭hadoop