Hadoop进阶篇(安装配置)

本文详细介绍了在Windows上搭建Hadoop2.7.4的步骤,包括准备JDK,下载Hadoop二进制包和winutils,设置环境变量,修改配置文件,以及启动和验证Hadoop服务。遇到的问题如JAVA_HOME空格、winutils兼容性、namenode启动失败等,都有解决方案提供。
摘要由CSDN通过智能技术生成

windows平台上搭建Hadoop2.7.4

准备工作1:
需要提前配好JDK1.8,及相关环境变量(本教程针对64位,32位没尝试过),
JAVA_HOME,比如本文实验环境 C:\PROGRA~1\Java\jdk1.8.0_131
Path中,最后面加上 ;%JAVA_HOME%\bin;
注意JAVA_HOME的program files用Progra~1代替,避免出现空格。

准备工作2:
下载Hadoop二进制编译好的版本。Hadoop二进制版可看做是绿色免安装的软件,解压到不带中文的目录中即可,比如本文实验环境C:\Hadoop2.7.4。
所需工具的Git地址:https://github.com/845318843/Hadoop2.7.4forWindows

准备工作3:
下载Hadoop在windows平台的辅助工具,即编译好的winutils,它无需借助cygwin即可模拟Linux环境。

正式开始:

第一步,Hadoop的环境变量设置
新建HADOOP_HOME变量,比如本文实验环境 C:\Hadoop2.7.4
在这里插入图片描述
Path中,添加;%HADOOP_HOME%\bin;
在这里插入图片描述
设置好后, cmd内输入 hadoop version, 出现下图说明环境配置好了
在这里插入图片描述

第二步(省略),使用winutils的bin覆盖bin中的文件。
这个工具是windows平台的辅助工具,它无需借助cygwin即可模拟Linux环境。
考虑到初学者比较担心Hadoop版本号、64位、32位等不一致会带来的兼容性问题,
我已统一打包好放Git上,版本号为2.7.4,64位。Git下回来的一套东西都在里面。
免去替换文件的环节。
所需工具的Git地址见第一步。

关于兼容性问题多说两句,winutils与具体的hadoop版本是有关的&
  • 4
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值