为Spark集群配置jupyter notebook的Spark kernel

在Jupyter的官方github的kernel list里有一个sparkmagic,安装之后就可以直接在jupyter 中创建Spark、PySpark、PySpark3和SparkR这几种kernel的notebook了。

下面介绍一下安装过程。


安装Livy

sparkmagic是基于Livy的,必须先在集群的master上安装好Livy。

Livy的安装很简单(在master机器上操作):

  • 从https://livy.incubator.apache.org/下载livy
  • 将下载的文件解压到你想安装的目录下,假设为/home/livy
  • 将/home/livy/bin 追加到环境变量path中

安装sparkmagic

在master机器上执行:

  • pip install sparkmagic

  • jupyter nbextension enable --py --sys-prefix widgetsnbextension

  • 进入你刚刚用pip安装的sparkmagic包的目录下,运行以下几个命令

    jupyter-kernelspec install sparkmagic/kernels/sparkkernel
    jupyter-kernelspec install sparkmagic/kernels/pysparkkernel
    jupyter-kernelspec install sparkmagic/kernels/pyspark3kernel
    jupyter-kernelspec install sparkmagic/kernels/sparkrkernel

  • jupyter serverextension enable --py sparkmagic

如何使用

  1. 启动spark集群: 终端运行$SPARK_HOME/sbin/start-all.sh
  2. 启动Livy服务:终端运行/home/livy/bin/livy-server
  3. 启动jupyter notebook: 终端运行jupyter notebook
  4. 然后就可以在浏览器中访问到基于master的ip的notebook,并在notebook中创建spark等四种kernel的笔记了
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值