spark伪分布式及全分布式部署

1.从spark官网下载安装包,网址:https://spark.apache.org/downloads.html

  我这里以spark-2.3.3-bin-hadoop2.7.tgz为例

2.在Linux系统安装spark:

    首先将spark安装包拷贝到Linux系统上(拷贝过程不再赘述),将spark解压到某个文件夹下(具体哪个文件夹根据个人的需要),解压命令:tar -zxvf *****/spark-2.3.3-bin-hadoop2.7.tgz(spark安装包所在的路径) -C **/**/(解压到某个文件夹的路径)

3.解压完成后,接下来进行配置

伪分布式

    以下涉及到的所有路径都是我个人的安装路径,仅用来参考,与你的路径不一样,完全正常.

    1.进入到spark的安装目录下: cd /opt/module/spark-2.1.0-bin-hadoop2.7/

    2.进入到conf目录下 : cd conf/

    3.将spark-env.sh.template文件重命名,拷贝一份: