Hadoop安装教程+集群部署

目录

一、安装准备

二，安装虚拟机

三丶安装部署Hadoop集群

到这里咱们的集群就部署完毕了！！

---

一、安装准备

vm15pro,centos6.9,jdk1.8,hadoop2.7.4，SecureCR+SecureFX 7.0.0 Build 326（64位版）

二，安装虚拟机

(1)新建虚拟机

（2）编辑虚拟机设置

 

（3）初始化虚拟机

创建三个文件夹，方便以后使用

(4)克隆虚拟机

右键点击hadoop01,选择管理，选择克隆

同样克隆hadoop03

(5)配置虚拟机网络

点击编辑 -->  网络首选项，查看可以使用的ip段

修改主机名

分别改称hadoop01,hadoop02,hadoop03

 

更改ip主机映射，左边的ip地址根据刚才看的范围自己写

更改MAC地址（在虚拟机设置，网络适配器中查看MAC地址），只保留eth0，删除eth1

更改网卡信息如下图

 

验证配置是否正确

（6）配置SSH

先设置网络连接模式为 仅主机模式,不要使用NAT模式，NAT模式的ip网段和主机是不连通的。

 

查看是否安装ssh和是否开启ssh服务

将划红线一行注释去掉

重启ssh服务

打开CRT远程连接工具，选择左上角文件 --> 快速链接

(7)配置免密登录

输入命令后连续敲四次回车即可

将公钥复制到本机和hadoop02和hadoop03

如图显示命令不存在，需要安装ssh,三台虚拟机都要安装

这里如果安装失败可能是虚拟机不能访问外网的缘故，请参照这里使虚拟机可以联网

https://blog.csdn.net/yuxueyuanwj/article/details/89016257

现在复制成功了，同理复制到hadoop03。然后在其他两台虚拟机进行同样的操作。

三丶安装部署Hadoop集群

(1)安装JDK

使用rz命令将安装包传输到虚拟机hadoop01中并解压

(须提前下载rz)

 

给他把名字缩短一下

配置JDK环境变量

验证是否安装成功

（2）安装Hadoop

同JDK的安装，使用rz将Hadoop安装包上传到hadoop01，并解压

别忘了给Hadoop改名，然后配置环境变量

（3）Hadoop集群部署

先配置hadoop-env.sh文件

再配置core-site.xml文件，这里的tmp目录用于存放hadoop临时文件，需要咱们自己提前创建

修改hdfs-site.xml文件

修改mapred-site.xml

修改yarn-site.xml

修改slaves文件

将主节点配置文件分发给其他节点

然后分别在hadoop02,hadoop03上执行如下命令刷新配置信息

（4）Hadoop集群测试

使用如下命令格式化文件系统

这样就是格式化成功

启动集群所有机器的HDFS和YARN服务

 

hadoop01，hadoop02,hadoop03进程应分别如下

使用UI界面查看Hadoop运行状况

①先关闭所有主机的防火墙

②在浏览器访问 服务器ip地址:8088和 服务器ip地址：50070

到这里咱们的集群就部署完毕了！！

 

总结以下经验：

一丶千里之堤，溃于蚁穴。安装时一定要细心，每一个细节都不能错。

二丶百度和谷歌是个好东西，希望人人都会科学使用它们。