Hadoop集群搭建

Hadoop集群搭建

一、网络配置
二、安装ssh免密登录
三、安装VMware Tools
四、安装jdk
五、安装hadoop apache官网
六、搭建集群

设备：VMware workstation15x ，Ubuntu18.x ，jdk1.8 ，hadoop2.x

一、网络配置 VMware虚拟机网络配置
1)VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和主机模式

（桥接） bridged模式	VMnet0虚拟网络
NAT模式	VMnet8虚拟网络
（主机） host-only模式	VMnet1虚拟网络

2)校园网锐捷与VMware NAT Service冲突问题 解决方案
如果我们使用NAT模式上网，那么校园网会与VMware NAT Service冲突会在一定时间内关闭VMware NAT Service ,大概30s左右，因此如果我们在它关闭之后的极短时间里重新开启该服务就可以实现连续上网,网上有方法可以使用批处理程序解决冲突。

为了方便使用笔记本，这里使用桥接模式，使用WiFi连接外部网络。

二、安装ssh免密登录
ssh 为 Secure Shell 的缩写，由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。

sudo apt-get update                            #系统更新
sudo apt-get install openssh-server            #下载ssh-server
sudo service sshd start                        #启动ssh
sudo ps -ef|grep ssh                           #查看ssh服务是否启动，如果显示相关ssh字样则表示成功。
ssh-keygen -t rsa                              #使用rsa加密
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   ##导入authorized_keys授权
ssh localhost                                  #测试是否免密码登录localhost

执行ssh-keygen -t rsa 命令后出现如下内容，回车即可：

第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。两次回车输入完毕以后，如果出现类似于下图所示的输出，加密成功。

ssh安装测试（ssh local