有两种方法
- 配置PySpark driver,当运行
pyspark
命令就直接自动打开一个Jupyter Notebook,此时shell端不会打开 - 正常启动Jupyter Notebook,然后用findSpark的package(我选了这种)
方法1:配置PySpark driver
去~/.bashrc
文件添加配置PySpark driver的环境变量
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
$ source ~/.bashrc
然后重启terminal
$pyspark
方法2:用findSpark包
下载findSpark包 :pip3 install findSpark
在终端输入jupyter notebook即可
$jupyter notebook
Jupyter Notebook运行效果
附上代码,大家运行感受一下:
#方法2需要复制这三行
import findspark
findspark.init()
import pyspark
#方法1直接从这里开始复制
import random
sc = pyspark.SparkContext(appName="Pi")
num_samples = 100000000
def inside(p):
x, y = random.random(), random.random()
return x*x + y*y < 1
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples
print(pi)
sc.stop()