window下jupyter(anaconda)中使用findspark配置spark

上一篇讲完zeppelin配置spark,zeppelin启动太慢了,经常网页上interpreter改着就卡死,需要后面zeppelin.cmd窗后点击才有反应,而且启动贼慢。

因为本来就安装了Anaconda2,索性给jupyter也配置上spark;

查阅资料有两类:

      方法一:给jupyter 安装上jupyter-scala kernerl 和jupyter-spark kernerl ,这个启动据说也慢,自己还未安装尝试。

      方法二:仅仅pip install findspark 就行,这个方便简单(如果要学scala还得用第一种),这篇也是将这种方法


一:前提

java 8及以上、scala、jupyter(anaconda python)、spark安装弄好了,环境变量都配置好了,而且python pip的pyspark都已经弄好了,全都可以参考我之前的博文

讲讲简单关系,spark是用scala编写的,scala底层用的java 8及以上,使用python编写spark程序,需要用到pyspark第三方包去转为jvm中调用核心,而findspark可以提供简便的初始化spark环境,后续直接使用pyspark即可。

以下均是window 10下的安装

java 安装:https://mp.csdn.net/postedit/94853438

scala 安

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值