基于pyspark 和scala spark的jupyter notebook 安装

1.spark安装（本次启动一个worker）

首先安装spark

打开apache spark官网下载页点这里
选择spark版本下载，这里我选spark 2.0.2

在linux系统中使用wget下载，wget是一种从网络上自动下载文件的自由工具，支持断点下载，很好用。没有此工具ubuntu,请使用一下语句安装

apt-get install wget
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz

然后解压在安装目录

tar -axvf spark-2.0.2-bin-hadoop2.7.tgz

重新命名安装目录文件名，便于记忆使用

mv spark-2.0.2-bin-hadoop2.7 spark
cd /root/spark/sbin

接着启动spark master 和一个slave(work).一下第一条指令在安装目录启动spark master，第二条指令是进入启动日志中，为了找到spark UI中的地址，截图如下：