win10上部署hadoop

最新推荐文章于 2024-05-08 01:42:34 发布

HW_870754395

最新推荐文章于 2024-05-08 01:42:34 发布

阅读量839

点赞数

分类专栏：大数据学习笔记文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/HW_870754395/article/details/90241734

版权

学习笔记同时被 2 个专栏收录

28 篇文章 0 订阅

订阅专栏

大数据

21 篇文章 2 订阅

订阅专栏

本文详细介绍了在Windows 10上部署Hadoop的步骤，包括前期准备（确保JDK安装并配置），下载hadoop-2.7.3，解压并配置环境变量，下载hadooponwindow进行覆盖，修改hadoop配置文件，格式化HDFS，启动和检查Hadoop服务，最后是停止Hadoop服务的流程。

摘要由CSDN通过智能技术生成

1. 前期准备

已安装jdk并配置好环境变量
在这里插入图片描述
上图是为了测试jdk是否安装并配置成功

2. 安装hadoop

(1)hadoop-2.7.3下载地址

在这里插入图片描述

(2) 解压到某一文件夹

在这里插入图片描述

(3) 配置环境变量

在这里插入图片描述

(4) 下载hadooponwindow

解压并覆盖D:\hadoop\hadoop-2.7.3目录下的bin、etc

(5) 修改hadoop配置文件

修改D:\hadoop\hadoop-2.7.3\etc\hadoop\core-site.xml

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

修改D:\hadoop\hadoop-2.7.3\etc\hadoop\mapred-site.xml

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

修改====

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/hadoop/data/namenode</value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>/hadoop/data/datanode</value>
    </property>
</configuration>

修改D:\hadoop\hadoop-2.7.3\etc\hadoop\yarn-site.xml

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>