windows 7安装Hadoop 2.9.2

download

http://apache.mirrors.hoobly.com/hadoop/common

下选择想要下载的hadoop版本
下载hadoop-****.tar.gz,不要下载源码版
然后解压到任意目录

替换源包

任意目录,进入Git Bash,将两个文件夹下载下来:

git clone https://gitee.com/oneslideicywater/hadoop-windows.git

替换掉hadoop-2.x.x根目录下:
在这里插入图片描述
binetc两个目录使用刚才下载的!

设置Hadoop的JAVA_HOME环境变量

确定安装JDK1.7+,并正确配置了JAVA环境变量且JAVA_HOME环境变量路径不能包含空格
打开/etc/hadoop/hadoop-env.cmd 找到%JAVA_HOME%之类的字样,替换成自己的JAVA_HOME路径。

设置datanode和namenode(管理节点)的数据保存路径

以下所有/代表Hadoop根目录

/下创建data文件夹并在/data下创建datanode和namenode两个子文件夹

/etc/hadoop/hdfs-site.xmldatanodenamenode文件夹的路径替换成自己的路径,根据其上下文判断格式,不要删之前路径前的/,且路径分隔符是/
将hadoop的根目录/配置进windows环境变量HADOOP_HOME,并将%HADOOP_HOME%/bin;%HADOOP_HOME%/bin;加入Path系统环境变量

启动Hadoop

  1. 初始化namenode节点
       hadoop namenode –format
  1. 运行

    在这里插入图片描述

如果查看java进程会看到ResourceManager,NodeManager,DataNodeNameNode
正常启动,说明配置成功,you’re ready to go!

WARN

很可能会碰到这个异常,在RerourceManager窗口下,亦可以输入Jps发现ResourceManager没成功启动

java.lang.NoClassDefFoundError: 
org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager

参考:
stackoverflow/share/hadoop/yarn/timelineservice/hadoop-yarn-server-timelineservice-x.x.x(版本号).jar,复制到其父目录/share/hadoop/yarn下,不要问我为什么,我也不知道为什么!

我的安装实例
hadoop 2.9.2 2019/1/9稳定版
JDK 1.8_192

参考链接:

Hadoop是一个开源的分布式计算框架,适用于处理大规模数据集的计算问题。Hadoop 2.9.2是Hadoop的一个版本,针对于Windows操作系统进行了优化。 Hadoop 2.9.2 Windows版本在功能上与其他操作系统版本保持一致,支持分布式计算和存储,并具有容错性。Windows版本还提供了对Windows文件系统的支持,可以直接在Windows操作系统上运行Hadoop集群。 安装Hadoop 2.9.2 Windows版本时,你需要下载相应的安装包,并按照官方文档提供的步骤进行安装和配置。在配置过程中,你需要指定Hadoop的核心参数、文件系统参数等。安装和配置完成后,你可以通过命令行或Web界面进行Hadoop集群的管理和监控。 Hadoop 2.9.2 Windows版本支持Hadoop的核心组件,例如HDFS(分布式文件系统)和YARN(资源管理器)。通过HDFS,你可以将大规模的数据集分布式地存储在多台机器上,通过YARN,你可以有效地管理和调度计算资源。 在使用Hadoop 2.9.2 Windows版本时,你可以编写MapReduce程序来进行数据处理和计算。通过MapReduce,你可以将计算任务分解为Map和Reduce两个阶段,并在集群上并行执行,以加快处理速度。此外,你还可以使用Hadoop生态系统中丰富的工具和库,如Hive、Pig、Spark等,来进行更高级的数据分析和处理。 总的来说,Hadoop 2.9.2 Windows版本为Windows用户提供了一个功能完善的大数据处理平台,可以支持在Windows操作系统上进行分布式计算和存储。通过Hadoop的强大功能和生态系统,你可以更高效地处理和分析大规模数据集。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值