Windows10配置Hadoop

# 资源下载

《hadoop-3.1.3.tar.gz》

百度网盘链接:https://pan.baidu.com/s/1umVgYdZ8KWMikjyHtZ2rCA(提取码:0000) 

《apache-hadoop-3.1.0-winutils-master.zip》

百度网盘链接:https://pan.baidu.com/s/1nSCIFezi4owoHXx29J9Qcw(提取码:0000)


# 配置 Hadoop

< Step 1 > 解压缩已下载的hadoop压缩包

解压缩 “hadoop-3.1.3.tar.gz” 至 D:\(此时 D:\ 会存在一个文件夹 “hadoop-3.1.3” )

< Step 2 > 配置hadoop环境变量

① 进入 设置 -> 系统 -> 关于 -> 高级系统设置 -> 高级 -> 环境变量 -> 系统变量

② 在 “系统变量” 中点击 “新建” ,变量名为 “HADOOP_HOME" ,变量值为 “D:\hadoop-3.1.3” ,点击 “确定” 

③ 在 “系统变量” 中双击 “Path” ,在弹出的 “编辑环境变量” 窗口点击 “新建” ,路径为 “D:\hadoop-3.1.3\bin” ,点击 “确定”

④ 按组合键 “Win+R” ,输入 “cmd” 后按下 “Enter” ,在弹出的窗口输入 “hadoop version” ,出现下图内容则为配置环境成功

< Step 3 > 配置 data 和 temp 文件夹

① 进入 “D:\hadoop-3.1.3” 

② 新建 “data” 文件夹

③ 新建 “temp” 文件夹

④ 进入 data 文件夹,新建 “datanode” 文件夹 和 “namenode” 文件夹

< Step 4 > 配置 4 个 xml 文件

① 进入 “D:\hadoop-3.1.3\etc\hadoop”

(以下简称为 “编辑” ,编辑方式为 右键 -> 编辑 或 右键 -> 打开方式 -> 记事本)

② 编辑 “core-site.xml” 

将文件末尾的

<configuration>

</configuration>

修改为

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

③ 编辑 “hdfs-site.xml”

将文件末尾的

<configuration>

</configuration>

修改为(此处的 “D:/hadoop-3.1.3/data/namenode” 可根据自己的情况修改)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop-3.1.3/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop-3.1.3/data/datanode</value>
    </property>
</configuration>

④ 编辑 “mapred-site.xml”

将文件末尾的

<configuration>

</configuration>

修改为

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

⑤ 编辑 “yarn-site,xml”

将文件末尾的

<configuration>

        <!-- Site specific YARN configuration properties -->

</configuration>

修改为

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

</configuration>

< Step 5 > 格式化 namenode 节点

① 按组合键 “Win+R” ,输入 “cmd” 后按下 “Enter” ,在弹出的窗口输入 “hdfs namenode -format” 对namenode节点进行格式化

< Step 6 > winutils 的覆盖

① 将 “apache-hadoop-3.1.0-winutils-master.zip” 内的 “bin” 目录解压缩到 “D:\hadoop-3.1.3” 目录下替换掉原来的 “bin” 目录

② 进入 “D:\hadoop-3.1.3\share\hadoop\yarn\timelineservice”

③ 复制 “hadoop-yarn-server-timelineservice-3.1.3.jar”

④ 粘贴至 “D:\hadoop-3.1.3\share\hadoop\yarn”

< Step 7 > 启动hadoop

① 进入 “D:\hadoop\hadoop-3.1.3\sbin” ,双击运行start-all.cmd

② 在浏览器进入网址 “http://localhost:9870/

③ 在浏览器进入网址 “http://localhost:8088/

  • 8
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值