jupyter notebook配置pyspark

最新推荐文章于 2024-07-12 11:20:49 发布

置顶法相

最新推荐文章于 2024-07-12 11:20:49 发布

阅读量1.8k

点赞数

分类专栏： spark python 文章标签： jupyter notebook pyspark python findspark 远程服务器

本文链接：https://blog.csdn.net/weixin_38569817/article/details/80228135

版权

python 同时被 2 个专栏收录

13 篇文章 0 订阅

订阅专栏

spark

10 篇文章 0 订阅

订阅专栏

我们通常会在远程服务器部署spark环境，并且安装python和jupyter notebook。之后通本地浏览器连接远程服务器地址，进行本地开发。

在安装完上述工具之后，在服务器端输入命令jupyter notebook --allow-root启动notebook服务。本地打开浏览器输入服务器地址，如http://127.0.0.1:8888，8888为配置服务器notebook时的端口。

开始本地编程
记得安装findspark包，方便配置pyspark
import findspark
findspark.init(‘hdp/2.5.0.0/spark安装目录’,edit_rc=True)

import pyspark

sc = pyspark.SparkContext(appName=’wordsCount’)

如果要在notebook上画图并展示
输入命令：%matplotlib inline