Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境

2 篇文章 0 订阅

相关环境:

虚拟机:VMWare(64位)

Linux版本:centOS6.5 64位

Windows版本:win10 64位

Hadoop版本:2.6.0

Linux中JDK版本:1.7.0_71(64位)


参考网页:

搭建伪分布式环境的网页

本文是集成上述网页的主要步骤,然后在配置文件的时候略作修改,是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插了一些自己搭建环境时遇到的问题。

在Windows中安装hadoop2.6.0-eclipse-plugin插件的步骤,见我的下一篇文章——Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件


安装虚拟机

安装虚拟机及在虚拟机中安装Linux的步骤在这里不详述,网上对这方面的介绍比较多且没有太大难度。


安装配置Linux中的一些环境

1)安装Linux中的JDK

在Linux中安装JDK,在这里也不详述。


2)修改主机名

通过sudo vi /etc/sysconfig/network将主机名修改为master。如下图所示:



重启Linux后查看结果:



3)修改hosts中的主机名

通过sudo vi /etc/hosts修改hosts文件,其中192.168.253.130是我Linux的ip地址。如下图所示:



4)配置SSH

进入.ssh目录并生成authorized_keys文件:


授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644)


ssh验证



5)安装hadoop

去官网下载hadoop安装包,这里的版本是2.6.0。http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下载成功后,解压在合适的目录中。


通过sudo vi ~/.bash_profile配置环境变量,分别配置HADOOP_HOME和PATH:



修改后,使用source ~/.bash_profile是修改后的环境变量生效。


在hadoop目录下创建文件夹:



接下来开始配置hadoop的各种文件,首先进入hadoop的配置文件夹:



修改配置文件hadoop-env.sh,加入"JAVA_HOME",如下所示:


指定我们自己的"JAVA_HOME":



修改yarn-env.sh,加入JAVA_HOME:

指定我们自己的JAVA_HOME:



修改配置文件 mapred-env.sh,加入JAVA_HOME:


加入我们自己的JAVA_HOME



修改slaves文件:


设置从节点为master,因为我们是伪分布式:



修改配置文件core-site.xml:

修改core-site.xml后:



修改hdfs-site.xml,修改前:


修改后:



修改yarn-site.xml,修改前:

修改后:



启动并验证hdfs文件系统是否配置成功:

首先,格式化hdfs文件系统:



然后cd到sbin目录中,分别启动dfs和yarn:



然后就可以通过web控制台查看hdfs了,地址:http://linux的ip:50070/。如果不是用当前Linux访问,而是别的电脑,访问的该地址的时候可能访问不到,此时需要考虑是否是Linux防火墙的问题。





点击"Live Nodes",查看一下其他信息:



现在试着向hdfs中上传一个文件:



hadoop web控制台页面的端口整理:

50070:hdfs文件管理

8088:ResourceManager

8042:NodeManager

19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)







  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值