Contents:
- Zeppelin简介
- Zeppelin简介Zeppelin编译安装
- Zeppelin案例
- Zeppelin和shell整合
- Zeppelin和JDBC(Hive)整合
- Zeppelin和Spark整合
一、What is Zeppelin?
1)官 网:http://zeppelin.apache.org/
2)帮助文档:http://zeppelin.apache.org/docs/0.6.2/
https://github.com/apache/zeppelin/blob/master/README.md
Zeppelin是一个基于Web的notebook,提供交互数据分析和可视化。后台支持接入多种数据处理引擎,如spark,hive等。支持多种语言: Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。本文主要介绍Zeppelin中Interpreter和SparkInterpreter的实现原理。
原理简介
Interpreter
Zeppelin中最核心的概念是Interpreter,interpreter是一个插件允许用户使用一个指定的语言或数据处理器。每一个Interpreter都属于换一个InterpreterGroup,同一个InterpreterGroup的Interpreters可以相互引用,例如SparkSqlInterpreter 可以引用 SparkInterpreter 以获取 SparkContext,因为他们属于同一个InterpreterGroup。当前已经实现的Interpreter有spark解释器,python解释器,SparkSQL解释器,JDBC,Markdown和shell等。下图是Zeppelin官网中介绍Interpreter的原理图。