cmd hadoop 不能运行_Windows 上部署 hadoop3.2.0(单机版)

Windows 上部署 hadoop3.2.0(单机版)

在 Windows 系统开发程序时, 远程 Linux 服务器上的 hadoop 速度很慢, 影响开发效率, 能不能在本地搭建 hadoop 环境的? 答案肯定的, 且看下文如何在 Windows 上部署 hadoop;

(源文地址: https://www.cnblogs.com/lfhappy/p/11482195.html)

1, 下载 hadoop(建议下载稳定版本):

2,hadoop 需要 JDK, 如果已经安装, 跳过此步骤, 还没有, 需要安装 JDK--> 配置 JAVA_HOME

3, 解压下载好的 hadoop 安装包到制定的位置.

==》没安装报异常: Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

4,GitHub 上下了个 3.1 的 winutils.exe, 链接 https://github.com/s911415/apache-hadoop-3.1.0-winutils/blob/master/bin/hadoop.dll 覆盖原 bin 目录下面的内容即可, 主要解决

5, 配置信息

==> 首先配置环境变量, 要在系统变量 path 中添加 %HADOOP_HOME%\bin

5.1 hadoop-env.sh

修改 JDK 的路径 @rem 修改 JDK 的路径

@rem The java implementation to use. Required.

set JAVA_HOME=D:\Java\JDK1.8

5.2 mapred-site.xml -- 配置调度框架名称

mapreduce.framework.name

yarn

5.3 core-site.xml-- 配置 NameNode 访问名字

fs.default.name

hdfs://localhost:9001

5.4 hdfs-site.xml-- 分布式系统高可用配置

dfs.replication

1

dfs.namenode.name.dir

../dfs/name

dfs.datanode.data.dir

../dfs/data

?

5.5 yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

6,cmd 运行 hadoop

说明 Windows 下 hadoop 部署成功

注: 在本地不需要启动 hadoop.

7, 本地如果需要启动 hadoop

1. 运行 cmd 窗口, 切换到 hadoop 的 bin 目录执行 hdfs namenode -format.

2. 运行 cmd 窗口, 切换到 hadoop 的 sbin 目录, 执行 start-all.cmd, 它将会启动以下 4 个进程窗口.

来源: http://www.bubuko.com/infodetail-3189374.html