Windows安装Hadoop

本文详细介绍了在Windows上安装Hadoop的步骤,包括安装JDK,下载并配置Hadoop环境变量,修改Hadoop配置文件如hadoop-env.cmd、core-site.xml、hdfs-site.xml等,节点格式化,以及启动Hadoop的全过程。
摘要由CSDN通过智能技术生成

目录

1.安装JDK

2.安装Hadoop

2.1下载Hadoop

2.2  配置hadoop环境变量

2.3 配置Hadoop

2.3.1 修改启动类 hadoop-env.cmd

2.3.2 修改core-site.xml

2.3.3 修改hdfs-site.xml

2.3.4修改mapred-site.xml

​2.3.5修改yarn-site.xml

3、节点格式化

4、启动Hadoop


1.安装JDK

Windows 10 配置Java 环境变量_Vulpes corsac-CSDN博客

2.安装Hadoop

2.1下载Hadoop

Index of /apache/hadoop/common

 注:不要下载最新版本(最新版本不稳定),这里下载Hadoop-3.3.3.tar.gz ,解压到指定目录 D:\hadoop-3.2.2

       检查目录文档D:\hadoop-3.2.2\bin下是否有文件winutils,若无则下载对应版本文件放到文件夹内。     

链接:百度网盘 请输入提取码
提取码:cskd  

       注:放入/替换 D:\hadoop-3.2.2\bin文件夹内的文件,特别是要放入hadoop.dll和winutils.exe文件。拷贝动态库,hadoop.dll拷贝到C盘Windows\system32目录下与%HADOOP_HOME%\sbin目录下。目录下有就不用拷贝,要是缺少文件可在百度上面进行下载。 

2.2  配置hadoop环境变量

系统变量 HADOOP_HOMED:\hadoop-3.2.2

在Path添

Windows环境下安装Hadoop需要一些特定步骤,因为Hadoop原本设计为Linux集群环境下的分布式计算框架。但是,你可以通过安装MinGW(Minimalist GNU for Windows),或者使用Hadoop发行版如CDH、HDP等预打包版本来简化过程。以下是大致的安装流程: 1. **下载Hadoop**: 首先,访问Apache Hadoop官网(https://hadoop.apache.org/downloads.html) 下载适合WindowsHadoop版本,例如Hadoop for WindowsHadoop on Windows (MapR/FastHDFS)。 2. **安装Java**: Hadoop需要Java运行环境。确保已经安装了JDK 8或更高版本,可以在Oracle官网下载:https://www.oracle.com/java/technologies/javase-jdk-downloads.html 3. **配置环境变量**: - 将Java的`bin`目录添加到系统PATH环境变量中,以便命令行访问Java和Hadoop工具。 - 可能还需要创建一个新的环境变量`HADOOP_HOME`指向Hadoop安装目录。 4. **运行Hadoop**: 使用内置的`start-dfs.cmd` 和 `start-yarn.cmd` 或者启动脚本所在的`sbin`目录下运行启动服务。 5. **配置文件**: 需要编辑核心的配置文件,比如`conf/core-site.xml` 和 `conf/hdfs-site.xml`,以及Hadoop YARN的配置文件(`conf/yarn-site.xml`),设置适合Windows网络环境的相关参数。 6. **验证安装**: 打开命令行,输入`jps`检查是否能看到Hadoop守护进程(如NameNode, DataNode, JobTracker等)。 **注意事项**: - Hadoop的一些工具和命令可能在Windows上不如Linux稳定,并且可能有性能上的限制。 - 官方并不推荐在生产环境中直接在Windows上部署Hadoop
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值