文章目录
一. 实验目的
掌握Hadoop集群集群安装部署技术。
二. 实验内容
安装Hadoop集群并完成分布式实例。
参考:http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
三. 实验步骤及结果分析
1. 安装Hadoop集群
说明:将实验二中创建的K1.ubuntukylin14.04(简称K1)系统完全克隆,生成独立的K2.ubuntukylin14.04(简称K2)系统,本实验在这两个系统上完成,其中K1为Master主节点,K2为Slave副节点。
1.1 网络配置
修改主机名。启动K1和K2虚拟机系统,在K2中打开终端,输入sudo vim /etc/hostname
命令打开存放主机名的hostname文件,修改主机名为K2,重启后生效。
修改IP映射。分别在K1和K2输入ifconfig
命令查看各自的IP地址,分别输入sudo vim /etc/hosts
命令打开存放IP和主机名映射关系的hosts文件,删除其中除了127.0.0.1 localhost之外的映射关系,并将K1和K2的IP和主机名映射关系填上,如下所示:
测试连通性。分别在K1和K2输入ping K1 -c 3
命令和ping K2 -c 3
命令查看是否能够连通,正确的话会显示以下内容:
1.2 SSH无密码登录配置
在K1终端输入cd ~/.ssh
命令和rm ./id_rsa*
命令删除之前的公匙,输入ssh-keygen -t rsa
命令并回车生成新的公匙,输入cat ./id_rsa.pub >> ./authorized_keys
命令将公匙加入系统授权,输入scp ~/.ssh/id_rsa.pub mcf14@K2:/home/mcf14/
命令将公匙从K1传输到K2上,需要输入yes
和K2的密码admin
。