用于Spark的Jupyter和Zeppelin安装(Ubuntu)

最新推荐文章于 2024-08-16 05:45:00 发布

zt_12138

最新推荐文章于 2024-08-16 05:45:00 发布

阅读量1.1k

点赞数 1

文章标签： Jupyter Zeppelin

本文链接：https://blog.csdn.net/qq_26921849/article/details/81133056

版权

本文档介绍了在已经安装好Hadoop和Spark的Ubuntu环境下，如何安装和配置Jupyter与Zeppelin。对于Jupyter，需下载Anaconda Distribution并参照相关文档启动pyspark，注意Python版本兼容问题。对于Zeppelin，下载二进制包，解压并赋予执行权限，根据官方文档进行配置，最后通过浏览器访问zeppelin的默认或自定义端口来打开使用。

摘要由CSDN通过智能技术生成

前提：安装好了Hadoop和Spark

Jupyter

下载Anaconda Distribution最新版本
参考文章基于pyspark 和scala spark的jupyter notebook 安装以及anaconda官方文档安装：

bash $AnacondaDistributionFile
vim ~/.bashrc
export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python路径

pyspark启动。

若指定pyspark的python版本为3以上，那么需要当前环境中默认python版本为2.x，否则会报错，原因是spark自带python脚本是用python2.x写的。