Zeppelin 搭建不是那么简单

1
配置文件中添加
export SPARK_HOME=/usr/local/spark
export HADOOP_CONF_DIR=/usr/local/hadoop
//这一条很奇怪,可能和hadoop版本默认支持2.6有关,路径和2.7版不同

2
集成hbase,添加依赖
org.apache.hbase:hbase-client:1.3.1
集成mysql,添加依赖
mysql:mysql-connector-java:5.1.38

3
java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String;)Lorg/apache/hadoop/tracing/SpanReceiverHost;
spark版本是spark-2.1.1-bin-hadoop2.6时不会报错(注意2.6)
或者,将lib目录下三个hadoop jar包替换为spark jars目录下的三个2.7版本jar包

这里写图片描述

4
运行spark相关,NullPointerException
配置 export HADOOP_HOME=/usr/local/hadoop 并没有用,我认为这是不正常的
需要配置 export HADOOP_CONF_DIR=/usr/local/hadoop

5
Jackson version is too old 2.5.3的问题
zeppelin目录下jackson版本比spark目录下的版本低
rm -f jackson-annotations-2.5.0.jar
rm -f jackson-core-2.5.3.jar
rm -f jackson-databind-2.5.3.jar
替换为spark目录下2.6.5的版本

6
解决一切问题的方法:自己编译,修改依赖和环境中使用的一致

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值