Spark大数据实战之一：环境配置

一、 运行环境说明

1.1.1 软硬件环境

       主机操作系统：Windows10 64位
       处理器：Intel®Core™ i7-6800K CPU 3 40GHZ
       内存：16G
       虚拟软件：VMware Workstations 10
       虚拟机操作系统：CentOS6.5（64位），双核，2G内存
       虚拟机运行环境：JDK1.7（64位），Hadoop2.5.2，Scala2.10.4，Spark1.4.0

1.1.2 集群网络环境

       演示中用了三个节点，均为CentOS6.5 64位系统，防火墙禁用，每个节点上创建一个lala用户，用户的主目录是/home/lala，节点之间可以免密码SSH访问，节点IP如下表。

序号	IP地址	机器名	类型	用户名
1	192.168.149.132	master	NameNode/Master	lala
2	192.168.149.133	slave1	DataNode/Worker	lala
3	192.168.149.134	slave2	DataNode/Workerr	lala

       其中NameNode表示Hadoop集群中的主节点，DataNode表示Hadoop集群中的从节点，Master表示Spark集群中的主节点，Worker表示Spark集群中的从节点。

二、 安装VMware Workstation10 虚拟机

VM虚拟机网盘下载：https://pan.baidu.com/s/124yvn8eHRy74wuY60ks13g        提取码： axy3
CentOS6.5镜像下载：https://vault.centos.org/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso（复制到迅雷下载快）
第1步：运行安装程序，出现释放安装文件界面

第2步，单击“下一步”

第3步，选择“接受协议”，并点击下一步

第4步，选择“自定义”，点击下一步

第5步，选中所有功能，点击下一步

第6步，配置虚拟机存储路径和HTTPS端口，默认选项即可，点击下一步

第7步，点击下一步，进入安装界面

第8步，点击继续，进行安装

第9步，虚拟机至此安装完成

三、安装CentOS6

第1步，打开VMware Workstations，单击“创建新的虚拟机”

第2步，选择“典型”，单击下一步

第3步，选择“安装程序光盘映像文件”，选择指定的CentOS系统的.ios文件，单击下一步
第4步，填写简易安装信息，全名用户名为lala，密码为1234，单击下一步

第5步，设置虚拟机名称为“master”，并选择安装位置，单击下一步

第6步，指定磁盘容量，设置为40G，单击下一步

第7步，点击完成

第8步，等待安装完成后系统自动重启，显示如下界面，输入密码进入系统