Jupyter配置Spark开发环境

原创 2016年08月30日 20:34:12


效果图

无图无真相,以下是运行截图,

Jupyter运行界面:
Jupyter运行界面

作业监控界面:
作业监控界面


简介

为Jupyter配置Spark开发环境,可以安装全家桶–Spark KernelToree,也可按需安装相关组件。

考虑到一般人更喜欢一步到位,并且Toree将会代替Spark Kernel,故直接且仅需安装Toree即可,不过下面还是给出了所有的安装方法。


Spark Kernel的安装

参照Spark Kernel支持的语言,安装好Spark Kernel后,其默认可以支持Scala,Python,R,SQL,对应的Spark实现分别是Scala with SparkPython with PySparkR With SparkRSpark SQL

参照上述链接,要切换语言时,只需简单的在语句前面加上%%scala/%%pyspark即可。当然,什么都不加时,默认语言为Scala。

另外,启动Jupyter后,可直接在http://localhost:4040/jobs/监控所有作业。


Spark Kernel(旧的项目)

参照下面的安装步骤进行即可,就是有些繁琐。


Toree(新项目)

根据Spark Kernel的介绍,自从Spark Kernel变成Apache的孵化项目后,其最新仓库已经 迁移到了incubator-toree

安装时,参照Quick Start What is Apache Toree ,仅需两条命令即可完成安装。

pip install toree
jupyter toree install --spark_home=your-spark-home

值得注意的是:

  1. Toree虽然还在孵化中,但已经能完成上述Spark Kernel的全部功能,即可支持PySpark,Spark SQL等。
  2. 该kernel安装在/usr/local/share/jupyter/kernels/apache_toree_scala目录下

Spark组件单独安装

除了安装上面的方法安装Spark的全家桶外,还可以按需对各组件进行安装。


Scala Kernel的安装

参照jupyter-scala安装即可。


PySpark的安装

详解 jupyter notebook 集成 spark 环境安装

来自: 代码大湿 代码大湿1 相关介绍 jupyter notebook是一个Web应用程序,允许你创建和分享,包含活的代码,方程的文件,可视化和解释性文字。用途包括:数据的...
  • u014612752
  • u014612752
  • 2016年07月03日 15:05
  • 5142

在Jupyter notebook中配置和使用spark

步骤1:安装jupyter 这里安装集成环境包Anaconda 下载地址及安装方法:https://www.continuum.io/downloads 步骤2: 下载spark http://sp...
  • cheng9981
  • cheng9981
  • 2017年02月22日 19:43
  • 2637

HUE配置Notebook提交spark

为执行Spark Job,Hue提供了执行服务器Livy,加强了Hue notebook对spark的支持。它类似于Oozie hadoop工作流服务器,对外提供了Rest Api,客户端将spa...
  • lujisen
  • lujisen
  • 2017年12月29日 22:33
  • 37

jupyter配置scala和Spark学习环境

jupyter配置scala和Spark支持。 Jupyter Notebook(此前被称为 IPython Notebook)是一个交互式笔记本,支持运行 40 多种编程语言。Jupyter Not...
  • qq_30901367
  • qq_30901367
  • 2017年06月15日 18:27
  • 1254

jupyter与spark kernel结合的notebook安装及使用

Install Jupyter and Python Install a kernel other than Python(以Scala为例) Install Spark-kernel...
  • heng_2218
  • heng_2218
  • 2016年03月29日 15:04
  • 9618

spark2.0下实现IPYTHON3.5开发,兼配置jupyter,notebook降低python开发难度

spark2.0下实现IPYTHON3.5开发1、spark2.0安装就不说了,网上有很多,不会的话给我留言。 2、我们在spark2.0下用python开发的话,不需要安装python了,直接安装...
  • pang_hailong
  • pang_hailong
  • 2016年11月11日 21:12
  • 1664

jupyter与spark kernel结合的notebook安装及使用

Install Jupyter and Python Install a kernel other than Python(以Scala为例) Install Spark-kernel...
  • heng_2218
  • heng_2218
  • 2016年03月29日 15:04
  • 9618

jupyter配置scala和Spark学习环境

jupyter配置scala和Spark支持。 Jupyter Notebook(此前被称为 IPython Notebook)是一个交互式笔记本,支持运行 40 多种编程语言。Jupyter Not...
  • qq_30901367
  • qq_30901367
  • 2017年06月15日 18:27
  • 1254

Spark+Jupyter=在线文本数据处理逻辑测试平台

最近在学习Spark,除了原生的Scala以外,Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台,其中用到的numpy,sc...
  • caizezhi1
  • caizezhi1
  • 2016年08月04日 15:23
  • 1131

在Jupyter notebook中配置和使用spark

步骤1:安装jupyter 这里安装集成环境包Anaconda 下载地址及安装方法:https://www.continuum.io/downloads 步骤2: 下载spark http://sp...
  • cheng9981
  • cheng9981
  • 2017年02月22日 19:43
  • 2637
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Jupyter配置Spark开发环境
举报原因:
原因补充:

(最多只允许输入30个字)