linux如何在界面和终端的不同模式下运行pyspark？

一， 界面打开

1,直接输入jupyter notebook后打开界面

查看运行模式：

输入sc.master

若输出为：local[*]，则表示它是在本地模式下运行

2，如何使用jupyter notebook在spark中运行

输入：

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=”notebook“ MASTER=spark://master:7077 pyspark –num-executors
1 –total-executor-cores 2 –executor-memory 512m

此时输出变为：spark://master:7077，说明已经在spark运行模式中了

二，上面是在网页界面中打开

1，若直接在终端打开本地的运行模式，直接输入pyspark

2，若要在终端中打开spark的运行模式，则输入：

MASTER=spark://master:7077
pyspark

输入：sc.master

若输出为spark://master:7077表示运行模式在spark中