jupyter notebook的搭建、连接jupyter与spark

安装python
更新软件包

sudo apt-get update

没想到出错了

上网查了资料，找到了一个解决办法
切换到国内源，使用清华大学开源软件镜像站
网址：https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/

打开文件，将其中内容全部替换成以下内容

sudo cp /etc/apt/sources.list /etc/apt/sources_default.list
sudo vim /etc/apt/sources.list

再次更新软件包，成功

安装 python3

sudo apt-get install python3

安装python第三方安装工具

sudo apt-get install python3-pip

查看python3版本信息

python3 -V

安装jupyter notebook
下载jupyter notebook

pip3 install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

运行 jupyter notebook

jupyter notebook

出现如下图所示错误，需要把jupyter的安装路径加入环境变量

利用find命令查找jupyter的安装路径

将查找到的jupter路径添加到环境变量中

sudo vim ~/.bashrc
export PATH=~/.local/bin:${PATH}

让环境变量生效

source ~/.bashrc

再次运行 jupyter notebook，成功，会自动跳转到jupyter网页


连接jupyter与spark
安装 findspark

pip3 install findspark

在jupter网页新建一个python3文件，测试 jupyter 是否成功连接 spark

import findspark
findspark.init("/usr/local/spark") # 指明SPARK_HOME
import pyspark
from pyspark import SparkContext, SparkConf
print("hello spark")

成功连接，会输出hello spark

好了，jupyter notebook的搭建、jupyter与spark的连接就完成了，有哪里不对的地方可以随时指出来哦