ASIN的专栏

BW-- SP+++

Jupyter配置Spark开发环境


效果图

无图无真相,以下是运行截图,

Jupyter运行界面:
Jupyter运行界面

作业监控界面:
作业监控界面


简介

为Jupyter配置Spark开发环境,可以安装全家桶–Spark KernelToree,也可按需安装相关组件。

考虑到一般人更喜欢一步到位,并且Toree将会代替Spark Kernel,故直接且仅需安装Toree即可,不过下面还是给出了所有的安装方法。


Spark Kernel的安装

参照Spark Kernel支持的语言,安装好Spark Kernel后,其默认可以支持Scala,Python,R,SQL,对应的Spark实现分别是Scala with SparkPython with PySparkR With SparkRSpark SQL

参照上述链接,要切换语言时,只需简单的在语句前面加上%%scala/%%pyspark即可。当然,什么都不加时,默认语言为Scala。

另外,启动Jupyter后,可直接在http://localhost:4040/jobs/监控所有作业。


Spark Kernel(旧的项目)

参照下面的安装步骤进行即可,就是有些繁琐。


Toree(新项目)

根据Spark Kernel的介绍,自从Spark Kernel变成Apache的孵化项目后,其最新仓库已经 迁移到了incubator-toree

安装时,参照Quick Start What is Apache Toree ,仅需两条命令即可完成安装。

pip install toree
jupyter toree install --spark_home=your-spark-home

值得注意的是:

  1. Toree虽然还在孵化中,但已经能完成上述Spark Kernel的全部功能,即可支持PySpark,Spark SQL等。
  2. 该kernel安装在/usr/local/share/jupyter/kernels/apache_toree_scala目录下

Spark组件单独安装

除了安装上面的方法安装Spark的全家桶外,还可以按需对各组件进行安装。


Scala Kernel的安装

参照jupyter-scala安装即可。


PySpark的安装

阅读更多
文章标签: spark jupyter kernel
个人分类: Spark Hadoop
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Jupyter配置Spark开发环境

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭