Windows环境下hadoop安装和配置伪分布式集群详细步骤

Windows环境下hadoop安装和配置伪分布式集群详细步骤

Windows系统Hadoop下载安装

• • Hadoop下载
  • Hadoop安装
  • Hadoop环境配置
  • Hadoop服务启动

官网下载地址https://www.apache.org/

复制到浏览器上方

打开APACHE官网

点击Downloads

点击archive site（历史存档）

接下来找到hadoop的文件，进入

 

进入common文件

找到自己需要下载的hadoop版本

下载tar.gz的文件

下载完毕后解压到你的目录中，不建议C盘

接下来配置环境变量

打开高级系统设置（Windows键+X键打开系统）

打开环境变量

新建一个变量名为：HADOOP_HOME

变量值为：自己hadoop所在路径

找到path

进入path添加 %HADOOP_HOME%\bin

接下来我们打开解压好的hadoop文件，找到etc目录下的hadoop文件里的hadoop-env.cmd

F:\Windows_Hadoop\hadoop-3.1.3\etc\hadoop

对hadoop-env.cmd进行编辑，修改JAVA_HOME的路径

把 set JAVA_HOME=后面的路径改为你jdk所在路径

C:\Program Files\Java\jdk1.8.0_201

添加set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_201

但是这里要把Program Files改为PROGRA~1(两个代表的意思一样，源自DOS时代的8.3格式文件名规范，为了文件系统兼容性）

接下来保存退出

Windowsj键＋R键输入cmd打开DOS窗口输入 hadoop version

出现上面结果，那么你Window上面的Hadoop环境配置成功！

接下来我们在Windows上配置hadoop服务

首先把后面需要的文件给创建好

在F:\Windows_Hadoop\hadoop-3.1.3下面创建一个data的文件夹

然后在data下面创建两个文件夹datanode和namenode

接下来我们需要在etc/hadoop下面配置4个文件

用自己的编译器或者记事本打开core-site.xml

在里面添加

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

在hdfs-site.xml中添加下面（注意下面name与data的路径为上面你自己创建的路径）

<configuration>

<property>       

<name>dfs.replication</name>       

<value>1</value>   

</property>   

<property>       

<name>dfs.namenode.name.dir</name>       

<value>F:\Windows_Hadoop\hadoop-3.1.3\data\namenode</value>//路径为你的存放路径   

</property>   

<property>       

<name>dfs.datanode.data.dir</name>     

<value>F:\Windows_Hadoop\hadoop-3.1.3\data\datanode</value>//路径为你的存放路径   

</property>

</configuration>

在mapred-site.xml文件中添加

<configuration>   

<property>       

<name>mapreduce.framework.name</name>       

<value>yarn</value>   

</property>

</configuration>

在yarn-site.xml文件中添加

<configuration>   

<!-- Site specific YARN configuration properties -->

<property>       

<name>yarn.nodemanager.aux-services</name>       

<value>mapreduce_shuffle</value>   

</property>   

<property>       

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       

<value>org.apache.hadoop.mapred.ShuffleHandler</value>   

</property>

</configuration>

保存退出后，打开DOSC窗口

输入hdfs namenode -format格式化HDFS

出现Successfully则成功了

接下来启动 Hadoop 伪分布式集群

在DOS中找到F:\Windows_Hadoop\hadoop-3.1.3\sbin下面

 

输入start.all,出现下面四个窗口表示启动hadoop集群成功

验证一下，输入jps - 可以查看运行的所有节点

就配置成功了

第一次学习,是在码帮主学习平台https://www.mbzvip.cn/

上学习的，对萌新，初学者非常好，不仅有讲解详细的教学视频和笔记，更有老师耐心解答，我的大部分问题都是请教老师，非常nice。