Linux下配置Spark框架（Python）

0 背景

今天在弄毕业论文，是关于XGBoost的，打开虚拟机后，提示说虚拟机内存不出，然后打开VMware后查看，的确是不足了，只剩下160M左右。那就扩充内存呗，结果自己没搞过这个，安装步骤来，失败了，reboot后不能正常启动了，搞了一上午还是不能正常启动,只好启动备用系统。当时的心哇凉哇凉的，感觉人生一片灰暗，因为光配环境就要耗费好多时间，但是代码数据也在里面啊，进不了系统，意味着之前的努力全白费了。不过，幸亏平时有备份的习惯，代码数据都在网盘了，可以下载出来，就是这个配置环境，又要花费好多好多时间啊，真心累！！！

趁着有空，先把安装spark的配置记录下来，为了方便博友或者总结（希望不要再崩系统了）。

1 简述

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是--Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句