Spark实践项目1：CentOS虚拟机搭建

虚拟机软件采用VirtualBox。

一、创建虚拟机

1.下载CentOS镜像：

 本次实验采用的是 CentOS-6.4-i386-minimal.iso

2、创建虚拟机：

 打开VirtualBox，点击“新建”按钮；

 输入虚拟机名称为sparkproject1，选择操作系统为Linux，选择版本为RedHat；

 本实验搭载三台虚拟机，其他两台分别为sparkproject2，sparkproject3

 分配1024MB内存；

 后面所有选项全部用默认的设置；

 注意，在Virtual disk file location andsize中，一定要自己选择一个目录来存放虚拟机文件（每个虚拟机单独复制一份iso）；

 最后点击“create”按钮，开始创建虚拟机。

3、设置网卡：

 选择创建好的虚拟机，点击“设置”按钮，在网络一栏中，连接方式中，选择“BridgedAdapter”，即桥接网卡。

 

 注意，Mac下可以看到en0是WiFi，选择后，如果环境下没有连WiFi的话，ssh是连接不到虚拟机的。

4、安装CentOS 6.4操作系统：

 选择创建好的虚拟机，点击“开始”按钮；

 选择安装介质（即本地的CentOS6.4镜像文件）；

 选择第一项开始安装-Skip

 欢迎界面Next

 选择默认语言（English English）-BaiscStorage Devices-Yes, discard any data

 主机名:sparkproject1

 选择时区（Asian ShangHai）

 设置初始密码为 hadoop （方便好记）

 Replace ExistingLinux System

 Write changes to disk

 开始安装。

5、安装完以后，reboot重启就可以了。

至此，三台虚拟机建好了。

二、网络配置

1、先临时性设置虚拟机ip地址：

 ifconfig eth0 192.168.1.110

 ifconfig可以看到ip地址已经改成192.168.1.110

 另外两台分配为 192.168.1.109 和 192.168.1.108

 在/etc/hosts文件中配置本地ip到host的映射

 三台机器都添加：

 192.168.1.110 sparkproject1

 192.168.1.109 sparkproject2

 192.168.1.108 sparkproject3

2、配置Mac主机上的hosts文件：

 vi /private/etc／hosts

 192.168.1.110 sparkproject1

 192.168.1.109 sparkproject2

 192.168.1.108 sparkproject3

3、使用SecureCRT从Mac上连接虚拟机

 使用终端ssh也可以，但因为我配置问题，找不到原因，虚拟机可以连到Mac，Mac连不到虚拟机

 SecureCRT Mac版就可以用

 

4、永久性配置CentOS网络

 vi/etc/sysconfig/network-scripts/ifcfg-eth0

 DEVICE=eth0

 TYPE=Ethernet

 ONBOOT=yes

 BOOTPROTO=static

 IPADDR=192.168.1.110 (另外两台分别为192.168.1.109；192.168.1.108)

 NETMASK=255.255.255.0

 GATEWAY=192.168.1.1

5、重启网卡

 service network restart

三、关闭防火墙

 如果不关闭防火墙，可能连不到虚拟机。

 Mac如果搞过SSH，就不用特别设置，没有的话，在系统偏好设置里选择共享设置里的远程登录

 service iptables stop

 service ip6tables stop

 service iptables status

 service ip6tables status

 chkconfig iptables off

 chkconfigip6tablesoff

 vi /etc/selinux/config

 SELINUX=disabled

四、其他配置

1、配置DNS服务器

 

 vi /etc/resolv.conf

 nameserver 61.139.2.69

2、修改repo

 将CentOS6-Base-163.repo上传到CentOS中的/usr/local目录下

 这里有两个软件推荐，Mac下sftp文件上传下载app，连接虚拟机就可以上传下载了

 

 cd /etc/yum.repos.d/

 rm -rf *

 mv repo文件到/etc/yum.repos.d/目录中

 修改repo文件，把所有gpgcheck属性修改为0

3、配置yum

 yum clean all

 yum makecache

 yum install telnet

 这里如果无法yum，可能是DNS的问题，需要把第一步设置那里的nameserver 换一个地址 比如0.0.0.0

五、SSH免秘密登录

 1、在三台机器的/etc/hosts文件中，都配置对三台机器的ip-hostname的映射，这里上一步已做过

 2、ssh-keygen -t rsa 生成本机的公钥

   过程中不断敲回车即可，ssh-keygen命令默认会将公钥放在/root/.ssh目录下

   将公钥复制为authorized_keys文件，此时使用ssh连接本机就不需要输入密码了

   cd /root/.ssh

   cp id_rsa.pub authorized_keys 把文件复制进去

 3、配置三台机器互相之间的ssh免密码登录

   使用ssh-copy-id-i sparkproject2 命令将sparkproject1的公钥拷贝到sparkproject2的authorized_keys文件中

   继续拷到sparkproject3中，另外两台也分别执行向另外两台机器的拷贝操作

至此，整个虚拟机的基本配置已经完成，下一步就是软件的安装了。