在ubuntu14.04上搭建hadoop集群

最新推荐文章于 2022-09-14 00:45:50 发布

weixin_42339297

最新推荐文章于 2022-09-14 00:45:50 发布

阅读量212

点赞数

文章标签： hadoop ubuntu 集群搭建详细安装过程

本文链接：https://blog.csdn.net/weixin_42339297/article/details/84990085

版权

Hadoop集群环境搭建：
按照这个教程一步一步来
http://dblab.xmu.edu.cn/blog/1177-2/

自己在安装的过程中需要参考的链接以及可能遇到的问题：

安装vmware,新建三台Ubuntu虚拟机
在虚拟机上安装Ubuntu:
https://blog.csdn.net/stpeace/article/details/78598333
安装vm tool方便后期操作：
https://blog.csdn.net/yuanxiang01/article/details/78787823
解决虚拟机上网问题：
桥接模式形成独立机器，NAT模式连接外网
https://blog.csdn.net/aaron_zhang939/article/details/78616873
三台机器之间相互注册IP并且需要配置全域名参考地址：
https://blog.csdn.net/zcc_heu/article/details/53543558?utm_source=copy
打开ubuntu的host文件配内容如下：
$ vim /etc/hosts
把次hosts文件复制到其他两台机器上。
安装jdk
安装jdk1.7
安装ssh服务并开启远程登录到root账户功能
安装ssh服务使机器可以远程使用ssh登录。
$ sudo apt-get install openssh-server
安装完成后配置ssh的配置文件/etc/ssh/sshd_config
使远程ssh登录时可以使用root账户登录.
注释PermitRootLogin without-password后添加PermitRootLogin yes。

	# sudo vim /etc/ssh/sshd_config	
	# Authentication:
	LoginGraceTime 120
	# PermitRootLogin without-password PermitRootLogin yes
	StrictModes yes

配置ssh免密码登录在master上使用root用户在根目录执行以下命令：# ssh-keygen -t rsa

	# cd .ssh
	# cat id_rsa.pub >>authorized_keys
	# scp authorized_keys hadoop@slave1:/home/hadoop/.ssh
	# 输入密码
	# scp authorized_keys hadoop@slave2:/home/hadoop/.ssh
	# 输入密码

在ubuntu机器上验证是否可以免密码登录到机器hadoop1和机器hadoop2上

	# ssh slave1
	# ssh slave1

如果IP地址不对，可以通过ifconfig命令更改结点的物理IP地址，示例如下：

结点信息：
192.168.177.128 master
192.168.177.130 slave1
192.168.177.129 slave2

hadoop安装
先在master主机上做安装Hadoop，暂时不需要在slave1,slave2主机上安装Hadoop.稍后会把master配置好的Hadoop发送给slave1,slave2.
Hadoop集群配置
修改master主机修改Hadoop如下配置文件，四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )都位于/usr/local/hadoop/etc/hadoop目录下。
Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found.
解决办法：修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
应当使用绝对路径。
export JAVA_HOME=$JAVA_HOME //错误，原来就这样的不该就报错
export JAVA_HOME=/usr/lib/jvm/default-java //正确，应该这么改
启动hadoop集群
master运行jps后，如下图：

slave1、slave2运行jps，如下图

至此还有一个问题那就是Hadoop集群的Namenode节点启动失败了

hadoop搭建四个配置文件的简单介绍：
https://blog.csdn.net/Mr_LeeHY/article/details/77049800?utm_source=blogxgwz3
参考教程发现其中hdfs-site.xml 文件的配置出现问题了：
缺少了namenode属性的位置：

修改后重新格式化namenode,再次启动发现启动成功了：

端口号列表：http://www.aboutyun.com/thread-7513-1-1.html 访问端口：50070

至此Hadoop的环境搭建全部完成