zeppelin+spark遇到的问题

       由于电脑重装系统(Ubuntu18.04),之前运行得好好的zeppelin突然各种报错。由于本人比较菜,而且网上类似bug解决的帖子很少,所以最后花了好几个小时才搞定。希望能够帮助到出现相同问题的同学。

       重装完系统后,我下了spark-2.4.0版本,zeppelin-0.8.0版本。(spark的安装配置可以参考这篇文章:https://blog.csdn.net/u010171031/article/details/51849562。zeppelin的安装比较简单,从官网https://zeppelin.apache.org/download.html下载文件名以netinst.tgz结尾的压缩包并进行解压,解压后先各自去掉zeppelin-env.sh.template, zeppelin-site.xml.template 的.template后缀,再在zeppelin-env.sh中添加export JAVA_HOME=xxx, export SPARK_HOME=xxx, xxx填自己的地址。)安装部署部分说的比较简陋,因为这个不是今天的主题,希望大家见谅。

       部署好后,我就准备操作了。谁知道,报错了!

        这个bug把我搞了半天,网上很难找到有用的答案。后来咨询了大佬,大佬提议我换个spark版本。于是,将版本换为spark-2.3.2。

       果然!这个bug解决了,不过又有新bug出现!

        java.lang.NoSuchMethodError:io.netty.channel.DefaultFileRegion

       这个就比较好解决了,百度一下看到有这篇博客http://www.louisvv.com/archives/1744.html 原来是spark2.3.2中的netty包和zeppelin的冲突了!统一用spark的netty-all-4.1.17.Final.jar。问题解决!

      本以为这下可以操作了,结果在用spark.sql语句时又报错:)

      java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.rdd.RDDOperationScope$。

      还好又是比较好解决的bug,这篇博客刚好能够解决问题https://blog.csdn.net/xwc35047/article/details/60137009。又是包冲突!把包统一后,终于能运行啦!

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值