Apache Zeppelin源码结构分析

最新推荐文章于 2021-10-14 22:11:21 发布
最新推荐文章于 2021-10-14 22:11:21 发布
阅读量784 收藏 1
点赞数
分类专栏： Zeppelin Apache Zeppelin数据分析从入门到精通 文章标签： Zeppelin 源码结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/majianxiong_lzu/article/details/89298040
版权
本文深入分析Apache Zeppelin v0.8.1版本的源码结构，核心模块包括zeppelin-server（提供WebSocket和RESTful服务）、zeppelin-zengine（负责Notebook的持久化和检索）、zeppelin-interpreter（定义解释器接口）、zeppelin-display（前端数据绑定）和zeppelin-web（使用AngularJS的用户界面）。此外，还涵盖Jupyter集成、Helium自启动解释器机制以及其他多种解释器模块，如Spark、Flink、Python等。
摘要由CSDN通过智能技术生成

本文针对Zeppelin版本：v0.8.1
Github地址 https://github.com/apache/zeppelin

Zeppelin主体由Java开发，使用Maven作为构建工具，语言组成如图所示：
在这里插入图片描述
其中，核心的Server、Zengine、Interpreter、Jupyter模块都由Java语言编写，Zeppelin Web模块使用AngularJS框架以及基础的js、css、html等技术。

在这里插入图片描述

Maven项目由多个module组成，分为框架核心module和其他解释器module。其中核心的module有：

  • zeppelin-server
    项目入口，通过Jetty内嵌服务器提供WebSocekt服务和RESTful服务，并且提供了基本的权限验证服务。

  • zeppelin-zengine
    实现Notebook的持久化和检索服务。

  • zeppelin-interpreter
    抽象了interpreter接口，规定了解释器的功能。并且提供了与zeppelin-zeng

最低0.47元/天 解锁文章
机器熊技术大杂烩
关注
专栏目录
Zeppelin源码分析—Zeppelin的设计思想
02-24
ApacheZeppelin是一个基于Web的交互式数据分析开源框架，提供了数据分析、数据可视化等功能。支持多种语言，包括Scala、Python、SparkSQL、Hive、Markdown、Shell等。本文从需求出发，探索Zeppelin的架构设计、技术选型、代码的模块划分和依赖关系的最初“出发点”，从而我们可以了解到Zeppelin为什么是这样设计的。Zeppelin的最核心的功能，用一句话总结就是：支持多语言repl的解释器。开发者可以自定义开发更多的解释器为Zeppelin添加执行引擎。官方支持的执行引擎用一幅图描述如下：Zeppelin这种支持多语言解释器的设计理念，核心价值体现
zeppelin源码分析(3)——主要的class分析(上)
重来
04-05 3236
zeppelin的module、package、class众多，如何快速地理清头绪，抓住重点？本文分析zeppelin主要module中重点的类以及它们之间的关系，理清这些类的职责，对于理解zeppelin的运行过程至关重要。
Apache Zeppelin 源代码分析
swimhigh的博客
06-21 901
Zeppelin的组成 Zeppelin的基本功能介绍可 参考文章：https://blog.csdn.net/spacewalkman/article/details/62135285Zeppelin程序的基本结构如下（这里只画出主要部件，方便大家理解）：Zeppelin Server： Zeppelin主程序，启动时通过配置，加载war包提供WEB 服务，通过Websocket协议与WEB端程...
Apache-Zeppelin（2）源码编译安装
Alitownlet的专栏
01-14 1023
系统环境：Centos 71、安装jdk jdk信息：jdk-7u25-linux-x64.tar.gz 解压： tar -zxvf jdk-7u25-linux-x64.tar.gz 配置环境变量： vi /etc/profile 添加一下信息 #jdk export JAVA_HOME=/opt/jdk1.7.0_25 export PATH=$JAV
Zeppelin架构原理分析
02-24
首先上一张官方给出的Zeppelin整体架构图ApacheZeppelin的架构比较简单直观，总共分为3层：1.Zeppelin前端2.ZeppelinServer3.ZeppelinInterpreterZeppelin前端是基于AngularJS（目前社区正在升级改造前端，但是对...
Apache Zeppelin 0.7.2 中文文档
12-01
Apache Zeppelin 0.7.2 中文文档 Apache Zeppelin 0.7.2 中文文档 Apache Zeppelin 0.7.2 中文文档
apache zeppelin使用文档
06-16
Apache Zeppelin 通过其灵活的解释器机制和丰富的功能集，为数据科学家和分析师提供了一个强大而直观的数据探索平台。无论是初学者还是有经验的用户，都可以借助 Zeppelin 的强大功能来提高工作效率和数据分析能力。...
Zeppelin源码
weixin_34306446的博客
10-15 193
1.概述 　　在大数据应用场景中，处理数据分析方面，由于开发者的水平不一样，使用的编程语言也不尽相同，可能会涉及到R、Python、Java、Scala等，数据计算模型也估计不一样，可能涉及的有Spark、Hive、Flink、Kylin等等。本篇博客笔者给大家介绍的内容并不是告诉大家如何去使用。在《Zeppelin使用心得》中有介绍如何使用，这里就不多做赘述了，今天主要是给大家剖析Zeppel...
Apache Zeppelin体系及可视化插件介绍
RobinLiew的博客
06-17 3915
1. 基本介绍 1.1 Zeppelin是什么？ Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如spark，hive等。支持多种语言：Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。 2.基本特点 2.1多种语言支持 2.1.1 zeppelin支持支持很多解释性程序，包括Apache Spark, Python, JDBC, Markdow
Apache Zeppelin可视化插件开发详解
RobinLiew的博客
06-17 775
1.可视化插件的生命周期 可视化插件的基类中包括的主要方法如下，比较重要的包括constructor、render、activate、destroy方法。当我们的插件实现该基类并覆盖相应的方法时，zeppelin框架会去按照插件的生命周期调用相应的方法（感觉和JavaEE 中的servlet类很相似，覆盖实现相应方法，容器如Tomcat会去调用特定的方法）。 Zeppelin后台调用插件的是result.controller.js，这是采用了angularJS框架调用我们插件相应的方法，只要我们
zeppelin源码分析(6)——note的执行过程
weixin_34198583的博客
03-21 202
2019独角兽企业重金招聘Python工程师标准>>> ...
Zeppelin源码编译指南
从大数据到人工智能的博客
10-14 981
依赖安装及配置 操作系统：ubuntu 20.04 CPU架构：x86_64 安装依赖： sudo apt-get update sudo apt-get install git openjdk-8-jdk npm libfontconfig r-base-dev r-cran-evaluate 安装maven wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-b
Zeppelin 源码分析-调度和资源分析（2）
Mrzhangoac的博客
08-02 856
Scheduler 类 Scheduler 类是调度类的抽象类，其中定义了很多关键方法，比如 submit 方法等，并且是一个线程类，一直运行在主进程或者独立 JVM 进程。 RemoteScheduler 类 RemoteScheduler 类是运行在主进程的调度类，支持并发操作，实现的方式就是之前说过的将 Job 封装成 RemoteScheduler.JobRunner 类
zeppelin源码分析——server端
HYL
07-23 942
zeppelin源码初探主要看整个运行的流程。
zeppelin源码分析(0)——zeppelin要解决什么问题
重来
03-15 6111
通过我其他的zeppelin分析文章，大家可以从中了解zeppelin是什么样的。本篇试着阐述问题的另外一面，zeppelin为什么是这样的？本文从需求出发，探寻zeppelin的架构设计、技术选型、代码的模块划分和依赖关系最初的“出发点”。 zeppelin的核心功能用一句话总结就是：支持多个语言repl的解释器。这个核心功能的价值体现在： 站在使用者的角度，意味着： 1. 可以在一个...
zeppelin源码分析(4)——interpreter的调度和任务封装
重来
06-02 5227
SchedulerFactory工厂类负责创建所有的Scheduler实例。SchedulerFactory本身采用了Singleton设计模式，保证全局唯一实例，与Scheduler和其实现类之前形成了“简单工厂”设计模式： 每个具体的Interpreter实现类在获取Scheduler实例时，都由自己决定初始化哪种类型的Scheduler实例: (PS：图中的SparkIn
zeppelin源码分析(2)——distribution assembly过程分析
重来
06-03 2655
主要分析zeppelin-distribution/target中的发布包的打包过程，即distribution目录结构中的bin、conf、Interpreter、lib等目录文件的来源。 1.1.1 parent pom 首先看一下${ZEPPELIN_HOME}/pom.xml文件中与package相关的几个重要的plugin的配置:   maven-dependency-plugi
Apache Zeppelin架构详解：三层结构与WebSocket应用
Apache Zeppelin是一个开源的大数据交互平台，其架构设计简洁而高效，主要由前端、...Apache Zeppelin的架构设计考虑了大数据处理的实时性和协作特性，通过合理的分工和通信机制，提供了高效的数据分析和共享环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值