搭建hadoop集群

最新推荐文章于 2024-02-07 09:05:42 发布

toward_south

最新推荐文章于 2024-02-07 09:05:42 发布

阅读量133

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/toward_south/article/details/102800224

版权

2 篇文章 0 订阅

订阅专栏

搭建过程中记录下相关内容

两台电脑，主节点master，子节点slave1 ,

桥接

centos 7, hadoop3.1.3 ，jdk1.8

1 VMware的安装

2 镜像的下载与安装（我装的是centos7,需要注意自己是否需要桌面）

3 主机名和ip的修改

这里需要学习下NAT和桥接的区别，如果只在一台电脑上开几个虚拟机，这样搭着玩，直接使用nat会舒服的多，如果是两台电脑直接的集群那么就使用桥接。

4 防火墙的关闭（7以上才是这个命令，之前的用iptables）

5 集群间的免密登录SSH

这里需要注意的是第四步从master复制authorized_keys到slave1上面的时候，自己确认下路径对不对。。还有就是权限不能给太高，不然免密登录会失效。。。。

~/.ssh权限设置为700
~/.ssh/authorized_keys的权限设置为600
# 这是linux的安全要求，如果权限不对，自动登录将不会生效

这样的话 master 就可以ssh 到其他slave1上了，但启动的dfs时候会出现

master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

我看了下 ssh master, ssh localhost 还是需要密码的，我觉得问题是出在了这上面，百度了下

通过上面那个方法即可解决

6 配置hadoop文件，下面的教程可以相互看下，下面的教程都是一台电脑，多个虚拟机的，如果多台电脑的话，建议使用桥接，使用NAT都ping不通其他虚拟机，到时候记得在/etc/hosts修改映射地址，其他的也没啥大的变化

需要注意是，hadoop3.0xxx版本，已经不用50070端口了，用9870

关注