Hadoop集群搭建

最强hadoop集群搭建

---

进入大三下后，Spark、Hbase等都基于Hadoop集群环境，这学期机房电脑不知道怎么回事，过了一个寒假开机都要五分钟而且卡的无法使用，于是放弃在学校机房做实验，在自己电脑上开了三个虚拟机搭建Hadoop集群。

---

一、搭建Hadoop全分布式集群前奏

我的环境win10加VirtualBox上搭一台Ubuntu16.04/64位
Ubuntu里下载好jdk-8u202-linux-x64.tar.gz和hadoop-2.7.4.tar.gz

二、安装jdk

ctrl+alt+t打开终端
1、sudo mkdir /usr/java
sudo tar -zxvf jdk-8u202-linux-x64.tar.gz /usr/java/
配置环境变量
2、sudo vim /etc/profile在末尾添加
注意java_home是jdk安装目录
JAVA_HOME=/usr/java/jdk1.8.0_202
CLASSPATH=$JAV{A}_{H}OME/lib/PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
使环境变量生效
3、source /etc/profile
查看Java是否安装成功
4、java -version

出现以上代表安装成功，若没有也别慌，可能环境变量没生效，打开终端输入reboot，重启再重复步骤4

三、配置网络，关闭防火墙，实现ssh免密登录

用virtualbox相比VM不好之处就是使用nat网络模式Ubuntu的ip地址不跟win10主机在同一网段，所以我安装Ubuntu时用的桥接。但桥接模式需要手动改ip，不然虚拟机没网。在这我就不说如何手改ip了，会专门有一篇文章写如何配置。
1、Ubuntu默认关闭了防火墙
下载ssh-server
2、sudo apt-get install openssh-server
启动ssh
3、sudo /etc/init.d/ssh start
查看ssh服务是否启动，如下ssh字段则成功
4、ps -ef|grep ssh
设置免密登录密码，一直回车直到生成照片就好了
5、ssh-keygen -t rsa
导入authorized_keys
6、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
测试免密是否成功，第一次输入yes，
7、ssh localhost
有welcome代表成功