cmd hadoop 不能运行_Windows上安装运行Hadoop

本文档详细介绍了在Windows上安装Hadoop 2.8.3的步骤,包括下载JDK并设置JAVA_HOME,下载预编译的winutils,配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和hadoop-env.cmd文件,以及启动和检查Hadoop集群状态的方法。
摘要由CSDN通过智能技术生成

0.自己编译安装步骤在这里,有英文版本链接:《英文传送门》。

自己编译尝试后不成功,换为下面使用别人编译好的版本的方法。参考博客:《初学hadoop,windows下安装》

1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!)

假设JAVA_HOME路径为C:\Java\jdk1.8.0_73

这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3

3.下载winutils。这个是别人编译好的hadoop的windows版本二进制文件,不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行!覆盖!即可。

4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件

①core-site.xml(配置默认hdfs的访问端口)

fs.defaultFS

hdfs://localhost:9000

②hdfs-site.xml(设置复制数为1,即不进行复制。namenode文件路径以及datanode数据路径。)

dfs.replication

1

dfs.namenode.name.dir

file:/hadoop/data/dfs/namenode

dfs.datanode.data.dir

file:/hadoop/data/dfs/datanode

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容(设置mr使用的框架,这里使用yarn)

mapreduce.framework.name

yarn

④yarn-site.xml(这里yarn设置使用了mr混洗)

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

⑤hadoop-env.cmd

设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错!)

set JAVA_HOME=C:\Java\jdk1.8.0_73

5.进入D:\hadoop-2.8.3\bin目录,格式化hdfs

在cmd中运行命令 hdfs namenode -format

6.进入D:\hadoop-2.8.3\sbin目录

在cmd中运行命令start-all.cmd

出现找不到hadoop文件的错误时,可以在start-all.cmd文件上方加入hadoop文件所在位置目录

cd D:\hadoop-2.8.3\bin

7.在浏览器地址栏中输入:http://localhost:8088查看集群状态。

8.在浏览器地址栏中输入:http://localhost:50070查看Hadoop状态。

9.执行stop-all.cmd关闭Hadoop。

以上。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值