spark学习：（一）虚拟机安装及软件要求

1 Linux虚拟机的安装

参考：https://blog.csdn.net/ProgrammingWay/article/details/78237856

采用的是VMWare，CentOS6.9。因为是在自己电脑上进行实验，故架设三台虚拟机，分别命名为master（192.168.xxx.001），slave1（192.168.xxx.002），slave2（192.168.xxx.003）。每台虚拟机内存2G，硬盘大小10G。

分区方案（按顺序创建分区）：

①/boot：逻辑分区，大小为100M，分区格式为ext4；

②swap：充当虚拟内存，大小等于内存大小1G，分区格式为swap；

③/：主分区，安装系统和软件，大小为剩余大小，分区格式为ext4。

各分区作用：

/ 根目录，建议在根目录下面只有目录，不要直接有文件。

swap 交换空间，相当于Windows上的虚拟内存。

/boot 包含了操作系统的内核和在启动系统过程中所要用到的文件，建这个分区是有必要的，因为目前大多数的PC机要受到BIOS的限制，且如果有了一个单独的/boot启动分区，即使主要的根分区出现了问题，计算机依然能够启动。这个分区的大小约在60MB—120MB之间。

/home 用户的home目录所在地，这个分区的大小取决于有多少用户。如果是多用户共同使用一台电脑的话，这个分区是完全有必要的，且根用户也可以很好地控制普通用户使用计算机。

/tmp 用来存放临时文件。这对于多用户系统或者网络服务器来说是有必要的。这样即使程序运行时生成大量的临时文件，或者用户对系统进行了错误的操作，文件系统的其它部分仍然是安全的。因为文件系统的这一部分仍然还承受着读写操作，所以它通常会比其它的部分更快地发生问题。这个目录是任何人都能访问的，所以需要定期清理。

/usr Linux系统存放软件的地方，如有可能应将最大空间分给它。除了系统的基本程序外，其它所有的应用程序多放在这个目录当中。

/etc 系统主要的设置文件几乎都放在这个目录内。

/root 系统管理员的家目录。

/lost+found 该目录在大多数情况下都是空的，但当实然停电或者非正常关机后，有些文件临时存入在此。

/dev 设备文件，在Linux系统上，任何设备都以文件类型存放在这个目录中，如硬盘设备文件，软驱、光驱设备文件等。

/media 挂载目录，用来临时挂载别的文件系统或者别的硬件设备（如光驱、软驱）。

/opt 用于存储第三方软件的目录，不过我们还是习惯放在/usr/local下

/proc 此目录信息是在内存中由系统自行产生的，存储了一些当前的进程ID号和CPU、内存的映射等，因为这个目录下的数据都在内存中，所以本身不占任何硬盘空间。

/var 主要放置系统执行过程中经常变化的文件，例如缓存（cache）或者是随时更改的登录文件（log file）。

/var/log 系统日志记录分区，如果设立了这一单独的分区，这样即使系统的日志文件出现了问题，它们也不会影响到操作系统的主分区。

2 软件目录

软件	版本/地址
Java	jdk-8u191-linux-x64.tar.gz
Scala	scala-2.11.12.tgz
Hadoop	hadoop-2.8.5.tar.gz
Spark	spark-2.3.1-bin-hadoop2.7.tgz
Zookeeper	zookeeper-3.4.13.tar.gz
Kafka	kafka_2.11-1.1.0.tgz
Tomcat	apache-tomcat-8.5.35.tar.gz
Eclipse	eclipse-jee-photon-R-win32-x86_64.zip
Maven	apache-maven-3.6.0-bin.zip
Windows-Hadoop插件	winutils-master.zip/hadoop-2.8.3
Eclipse-Hadoop插件	hadoop-eclipse-plugin-2.6.0.jar

2.1 Java安装

在三台虚拟机上解压安装并配置环境变量：

[root@master opt]# tar -zxvf jdk-8u191-linux-x64.tar.gz
[root@master opt]# vi /etc/profile

添加以下内容：

export JAVA_HOME=/ opt /jdk1.8.0_191
export JRE_HOME=/ opt /jdk1.8.0_191/jre
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

然后更新配置文件：

[root@master opt]# source /etc/profile

2.2 Scala安装

在三台虚拟机上解压安装并配置环境变量：

export SCALA_HOME=/opt/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin

---

需要软件的可以留言~