zeppelin的安装以及使用

zeppelin两个版本区别：

zeppelin版本有两种分别是：zeppelin-0.7.0-bin-netinst.tgz和zeppelin-0.7.0-bin-all.tgz。主要区别是：netinst是net -install的简写，就是Interpreters自己通过网络安装，具体安装教程可以查阅官方文档，地址为：http://zeppelin.apache.org/docs/0.7.0/manual/interpreterinstallation.html，例如spark interpreter的安装时：

./bin/install-interpreter.sh --name spark --artifact org.apache.zeppelin:zeppelin-spark_2.10:0.7.0（spark2.1.0版本）

而all版本则是Interpreters都集成在压缩包中，无需网络安装了。

zeppelin安装配置：（本文使用的版本为zeppelin-0.7.0-bin-netinst.tgz）

首先，下载解压。配置必要环境变量 ,vim zeppelin-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_45
export MASTER=spark://node:7077  

export SPARK_HOME=/home/daxin/bigdata/spark    
export HADOOP_CONF_DIR=/home/daxin/bigdata/hadoop/etc/hadoop（可选参数，更多参数看文档）

配置vim zeppelin-site.xml

<property>
  <name>zeppelin.server.addr</name>
  <value>node</value>
  <description>Server address</description>
</property>
<property>
  <name>zeppelin.server.port</name>
  <value>8181</value>
  <description>设置zeppelin的端口，默认8080，容易和spark webui端口冲突，本文修改8181.</description>
</property>

最后通过上面命令安装spark interpreter。

启动Zeppelin，进入bin下，zeppelin-daemon.sh start启动。

打开：http://192.168.1.101:8181/ 创建notebook之后运行 sc.textFile("/word/").count发现提示Error。

通过查看日志可以看先：

java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V

或者

java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String;)Lorg/apache/hadoop/tracing/SpanReceiverHost;

解决方案是： hadoop2.x的common包与spark的hadoop包冲突。使用spark的包替换即可. 命令如下：

cd zeppelin/lib
rm hadoop-annotations-2.x.y.jar
rm hadoop-auth-2.x.y.jar
rm hadoop-common-2.x.y.jar

cp spark/jars/hadoop-annotations-2.x.y.jar ./
cp spark/jars/hadoop-auth-2.x.y.jar ./
cp spark/jars/hadoop-common-2.x.y.jar ./

再次运行会发现：

com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.5.3

解决方案是：

cd zeppelin/lib
rm jackson-annotations-2.5.0.jar
rm jackson-core-2.5.3.jar
rm jackson-databind-2.5.3.jar

cp spark/jars/jackson-databind-2.6.5.jar ./
cp spark/jars/jackson-core-2.6.5.jar ./
cp spark/jars/jackson-annotations-2.6.5.jar ./

更多问题可以查看日志解决。

Zeppelin的Interpreter配置：