虚拟机上Hadoop集群的从安装到搭建

虚拟机上Hadoop的安装到启动

前言:在一台电脑上利用虚拟机配置Hadoop集群,可以方便我们对Hadoop的了解和使用,这里讲的是从配置网络到完成Hadoop的安装步骤,首先,在网上下载对应的版本,建议不要下载最新的版本,因为最新版本会有一些漏洞和调试不当,应该使用一些最稳定的版本.笔者这里使用的是2.6.5版本,

1. 创建虚拟机

由于老版笔记本,配置较差,这里设置的内存为1G,硬盘分配15G,也可以带的动集群
按照步骤创建几台虚拟机作为集群,这里创建三台虚拟机,分别为hdp01,hdp02,hdp03

2.配置网络

1:配置路由器的网络

点击编辑虚拟机,

然后

点击NAT设置:

配置相关IP,这里的GATEWAY:指的是网关,也就是路由器的IP地址

2:配置VMNet8网络

点击电脑主机的网络图标,右键打开网络和Internet设置,

选择IPV4,设置网络

编辑虚拟机:/etc/sysconfig/network-scipts/ifcfg-eth0:加入相关信息:

重起机器: reboot,
重启网络服务:service network start;
检测是否成功:ping baidu 或者windows机器的ip

3.为了方便SecoreCRT的使用,直接写主机名字就可以链接,要修改域名的映射文件

Window:C:/windows/system32/drivers/etc/hosts
添加三个虚拟机的IP地址:192.168.26.50 hdp01
192.168.26.51 hdp02
192.168.26.52 hdp03
Linux: /etc/hosts里也放入
192.168.26.50 hdp01
192.168.26.51 hdp02
192.168.26.52 hdp03

4.克隆:

   克隆完整之后,编辑虚拟机设置,点击高级,重新生成MAC地址

修改主机名称 /etc/sysconfig/network把主机名改为hdp02,reboot重启
修改IP文件: /etc/sysconfig/network-scripts/ifcfg-eth0
删除里面的MAC地址
修改IP地址为192.168.26.51
打开MAC文件: /etc/ude…/ru…/70-xxx-net.xxxx
删除eth0 选项
将eth1改成eth0
校验主机名称和网络是否成功:ping www.baidu.com

5. 主机名 IP 映射文件 关闭防火墙

service iptables stop;service iptables status
chkconfig iptables off;chkconfig --list | grep “iptables”

6.安装ssh客户端

SSH 为 Secure Shell（安全外壳协议） 的缩写。
很多ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而SSH就是专为远程登录会话和其他网络服务提供安全性的协议。
yum install -y openssh-clients

基于密钥安全验证的SSH登陆

针对客户端命令如下：

1.产生对应的秘钥(公钥和私钥)
    # ssh-keygen
    ....Enter....
    ....Enter....
    ....Enter....
    Your identification has been saved in /Users/wolfcode/.ssh/id_rsa.
    Your public key has been saved in /Users/wolfcode/.ssh/id_rsa.pub.
2.将公钥直接发送到目标机器的秘钥池里去
    # ssh-copy-id root@192.168.7.103
3.输入密码
4.以后的对192.168.7.103的任何操作不需要密码.

7.安装JDK

yum install -y lrzsz :可以直接把软件压缩包直接拖动到Linux上的一个小程序,可以方便我们直接上传文件到linux系统上
怎么拖文件:直接拖 选最后一个选项
.安装Java

1.解压

tar -zxvf jdk, rm -rf jdk压缩包
mkdir java, mv jdk java,把jdk放在usr的java目录下 /usr/java/jdk1.8.0_45

2.配置环境变量

vi /etc/profile
加入

:export JAVA_HOME=/usr/java/jdk1.8.0_45
        export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin

3.source /etc/profile

4.校验hdp01上的java

5.对hdp01 hdp02 hdp03做免密登录

         命令:ssh -keygen:生成公私钥
         ssh-copy-id  root@hdp01,选择yes,所有虚拟机都要做同样的操作

验证是否成功:ssh root@hdp02,会切换到hdp02,exit退出

6.分发java文件夹和/etc/profile

发送java文件夹:scp -r java / root@hdp02:$PWD
-r:是对目录的递归们对于文件不用
发送/etc/profile文件到每一个虚拟机中:scp /etc/profile root@hdp02:/etc

7.校验3台机器的java:

先要三台机器所有的source /etc` /profile,
然后再查看java -version

8:检测:

直接再虚拟机输入hadoop,看有无提示就可判断是否安装成功.