Apache Zeppelin部署及案例验证指引

最新推荐文章于 2024-02-21 18:14:56 发布
最新推荐文章于 2024-02-21 18:14:56 发布
阅读量3.4k 收藏 10
点赞数 1
分类专栏： 数据可视化 Hadoop 中间件部署 文章标签： Zeppelin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/darren_tan/article/details/82215871
版权

作为大数据研究分析，我越发觉得有必要能有一款快速上手，能够适合单一数据处理、但后端处理语言繁多的场景相关的开源工具。最近我找到了一款Apache Zeppelin，下面是我初步实战初步收获。

  • 简要介绍

Apache Zeppelin是一款基于Web的Notebook(类似于jupyter notebook)，支持交互式地数据分析。

Zeppelin可实现数据采集、数据发现、数据分析、数据可视化和协作。

支持多种语言，默认是Scala(背后是Spark shell)，SparkSQL, Markdown ，SQL，Shell，Markdown和Python等。

另外通过JDBC协议支持多种数据源，默认为postgresql，Mysql、Hive等。

适用场景：Zeppelin适合单一数据处理、但后端处理语言繁多的场景，尤其适合Spark。

  • 部署环境

Name

Value

备注

Oracle JDK

1.7 

(set JAVA_HOME)

 

OS

Mac OSX 

Ubuntu 14.X 

CentOS 6.X 

RedHat 5.X

Windows 7 Pro SP1

 

Hadoop集群相关

Spark-1.6.0

Hive1.1.0

CDH 5.13.3-1

相关组件都已经部署正常运行(事业部大数据测试环境服务器，且可上外网)

Zeppelin

0.7.3

 

  • 部署步骤

    • 下载介质

Zepplin安装包：wget http://archive.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

  •               解压配置

1）、此套环境下载安装介质包统一放在/opt下，下载完成后：

tar -zxvf zeppelin-0.7.3-bin-all.tgz

2）、由于在解压过程中可能属主不是root，还需要通过更改成root:

chown –r root zeppelin-0.7.3-bin-all

3）、解释器相关依赖jar包

统一存放在/opt/zeppelin-0.7.3-bin-all/lib目录下。

Hive相关依赖包：

wget http://central.maven.org/maven2/org/apache/hive/hive-jdbc/0.14.0/hive-jdbc-0.14.0.jar

hadoop-common-2.6.0-cdh5.13.3.jar

wget http://central.maven.org/maven2/org/apache/hadoop/hadoop-common/2.6.0/hadoop-common-2.6.0.jar

wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

cp hadoop-common-2.6.0-cdh5.13.3.jar /opt/zeppelin-0.7.3-bin-all/lib

spark相关依赖包见spark验证章节配置

4）、定义配置conf/zeppelin-site.xml

默认不需要配置此文件，也可以正常启动服务，但考虑到端口确保不冲突。

cp zeppelin-site.xml.template zeppelin-site.xml，通过vi编辑文件，更改此块内容：

默认web访问端口号：8080，一般建议改成不易冲突且易记忆的端口号。本次我改成了8383：

<property>

  <name>zeppelin.server.port</name>

  <value>8383</value>

  <description>Server port.</description>

</property>

 

如果想匿名访问web端，则可以将false更改为true，但一般不建议生产环境这样做。

<property>

  <name>zeppelin.anonymous.allowed</name>

  <value>false</value>

  <description>Anonymous user allowed by default</description>

</property>

5）、添加登录账号信息

将conf/shiro.ini.template拷贝为shiro.ini

修改里面的用户名和密码，修改见下面截图：

 

6）、定义配置conf/zeppelin-env.sh

默认不需要配置此文件，也可以正常启动服务，但我们引入外部hadoop相关组件。

cp zeppelin-env.sh.template zeppelin-env.sh，通过vi编辑文件，在文件尾部加入：

#add env darren 1808028

export JAVA_HOME=/usr/java/jdk1.7.0_79

export JRE_HOME=$JAVA_HOME/jre

export HADOOP_CONF_DIR=/etc/hadoop/conf

export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hadoop

export SPARK_HOME=/opt/cdh5/spark-1.6.0

export HIVE_HOME=/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hive

export HBASE_HOME=/opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hbase

export MASTER=spark://172.17.XX.XXX:7099

export ZEPPELIN_HOME=/opt/zeppelin-0.7.3-bin-all

 

7）、访问hive仓库，依赖hive服务下配置文件hive-site.xml。在确保hive server运行正常的前提下，需要从相应运行服务环境。本轮环境是XXX-bigdata-2.novalocal节点上，运行

Scp /opt/cloudera/parcels/CDH/lib/hive/conf/ hive-site.xml

root@XXX-bigdata-1.novalocal: /opt/zeppelin-0.7.3-bin-all/conf

 

另外记得在该文件尾部添加一段访问hive元数据的账号密码：

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>XXX123!@#</value>

    <description>password to use against metastore database</description>

  </property>

 

8）、启停zeppelin服务

停启一体命令（先停再启）

./opt/zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh restart

 

启命令

./opt/zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh start

 

停命令

./opt/zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh stop

 

9）、默认匿名登录zeppelin web，可直接访问http://172.17.XX.XXX:8383/#，当前部署的环境设置了登录账户信息，不可匿名。

 

输入账号admin，密码adimin1234

  • 案例验证

    • 操作流程

 

 

  • MySql
    • 建立Interpreters

使用配置号的账号admin，登录Zeppelin系统，创建Mysql解释器，并将解释器组选择jdbc类。具体配置如下截图样式：

 

配置项完成内容如下：

 

 

  • 解释器特别说明

MySql解释器关键内容及依赖特别注释说明，具体如下表内容：

  1. Properties

Name

Value

default.driver

com.mysql.jdbc.Driver

default.url

jdbc:mysql://localhost:3306/

default.user

mysql_user

default.password

mysql_password

  1. Dependencies

Artifact

Excludes

mysql:mysql-connector-java:5.1.38

 

Maven Repository: mysql:mysql-connector-java

注：需要下载连接mysql的驱动jar包，否则无法连接。

  • 操作示例

1）、建立note，需要选择自己需要的解释器，此例我选择的是mysql。其它详情见图示：

 

2）、在note中编辑自己需要完成查询或统计任务，如下图例查看服务器主机运行状况。

它支持表格、图形方式展示，同时支持导出csv\tsv。

效果如下图：

表格

 

柱状图

 

饼图

 

区间图

 

线形图

 

散点图

 

  • Hive

    • 建立Interpreters

使用配置号的账号admin，登录Zeppelin系统，创建访问hive解释器，并将解释器组选择jdbc类。具体配置如下截图样式：

 

 

 

  • 解释器特别说明

Hive解释器关键内容及依赖特别注释说明，具体如下表内容：

  1. Properties

Name

Value

default.driver

org.apache.hive.jdbc.HiveDriver

default.url

jdbc:hive2://localhost:10000

default.user

hive_user

default.password

hive_password

  1. Dependencies

Artifact

Excludes

org.apache.hive:hive-jdbc:0.14.0

 

org.apache.hadoop:hadoop-common:2.6.0

 

Maven Repository : org.apache.hive:hive-jdbc

注：由于本次部署环境是CDH-5.13.3，因此此处所依赖的包需要更改成实际对应版本的jar包，具体如下图：

 

 

  • 操作示例

1）、建立note，需要选择自己需要的解释器，此例我选择的是hive。其它详情见图示：

 

2）、在note中编辑自己需要完成查询或统计任务，如下图例查看服务器主机运行状况。

它支持表格、图形方式展示，同时支持导出csv\tsv。

3）、变化定义分组方式等信息，点击界面Settings按钮实现。拖拽变化定义keys、group和Values。

 

效果如下图：

表格

柱状图

 

饼图

 

区间图

 

线形图

 

散点图

 

 

  • Spark

  • 修改Interpreters

使用配置号的账号admin，登录Zeppelin系统，搜索出spark解释器。具体配置如下截图样式：

 

 

添加引入spark-1.6.0所需要的jar包

 

 

  • 解释器特别说明

Spark解释器关键内容及依赖特别注释说明，具体如下表内容：

  1. Properties

Property

Default

Description

args

 

Spark commandline args

master

local[*]

Spark master uri.

ex) spark://masterhost:7077

spark.app.name

Zeppelin

The name of spark application.

spark.cores.max

 

Total number of cores to use.

Empty value uses all available core.

spark.executor.memory

1g

Executor memory per worker instance. 

ex) 512m, 32g

zeppelin.dep.additionalRemoteRepository

spark-packages, 
http://dl.bintray.com/spark-packages/maven, 
false;

A list of id,remote-repository-URL,is-snapshot;

for each remote repository.

zeppelin.dep.localrepo

local-repo

Local repository for dependency loader

zeppelin.pyspark.python

python

Python command to run pyspark with

zeppelin.spark.concurrentSQL

false

Execute multiple SQL concurrently if set true.

zeppelin.spark.maxResult

1000

Max number of Spark SQL result to display.

zeppelin.spark.printREPLOutput

true

Print REPL output

zeppelin.spark.useHiveContext

true

Use HiveContext instead of SQLContext if it is true.

zeppelin.spark.importImplicit

true

Import implicits, UDF collection, and sql if set true.

 

  1. Dependencies

 

注：由于本次部署环境是CDH-5.13.3，且Spark为1.6.0版本，因此需要将依赖包引入部署的spark1.6.0下面lib中的相关包。

具体见spark解释器建立小节 Dependencies截图说明。

 

 

  • 操作示例

1）、建立note，需要选择自己需要的解释器，此例我选择的是spark。其它详情见图示：

 

2）、在note中编辑自己需要完成查询或统计任务，如下图例查看服务器主机运行状况。

它支持表格、图形方式展示，同时支持导出csv\tsv。

3）、变化定义分组方式等信息，点击界面Settings按钮实现。拖拽变化定义keys、group和Values。

 

效果如下图：

表格

 

柱状图

 

饼图

 

区间图

 

线形图

 

散点图

 

 

Note编辑器声明解释器对应类：

Name

Class

Description

%spark

SparkInterpreter

Creates a SparkContext and provides a Scala environment

%spark.pyspark

PySparkInterpreter

Provides a Python environment

%spark.r

SparkRInterpreter

Provides an R environment with SparkR support

%spark.sql

SparkSQLInterpreter

Provides a SQL environment

%spark.dep

DepInterpreter

Dependency loader

 

  • 异常集锦

  • Hive解释器错误

【报错信息】定义访问hive下表数据，报

 

【原因分析】未定义有效访问的解释器，导致执行查询抛出没有找到hive解释器

【解决方法】重新定义创建有效访问hive的jdbc解释器，具体方法见4.4章节

 

【报错信息】访问hive下表数据，报

java.lang.NoSuchMethodError: org.apache.hive.service.auth.HiveAuthFactory.getSocketTransport

【原因分析】因为采用apache官网提供的jar包版本与当前环境部署的cdh所使用的hive相关版本不匹配，导致类的调用方法异常。

【解决方法】定义的解释器需要将官方指引的jar包更换成当前环境下所需要的相关jar包，如截图：

 

 

 

  • Spark解释器错误

【报错信息】运行带“;”符号时，出现org.apache.spark.sql.AnalysisException: cannot recognize input near 'test_zepplin' ';' '<EOF>' in from source; line 1 pos 26

【原因分析】在spark的note模式下，不支持带“；”

【解决方法】将执行sql语句中分号结束符号去掉，重新执行即可

由于时间关系，目前仅实现验证了工作中常用的数据源。在部署过程中参考了官方文档信息。希望此文能给有需要的人，起到一个抛砖引玉的作用。不足之处还望见谅。

Darren_tan
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Zeppelin 未授权任意命令执行.md
04-12
Apache Zeppelin 未授权任意命令执行
apache zeppelin使用文档
06-16
apache zeppelin使用文档
Flink on Zeppelin (4) – 机器学习篇
最新发布
weixin_40921171的博客
02-21 788
今天我来讲下如何在 Zeppelin 里做机器学习。机器学习的重要性我就不多说了，我们直奔主题。 Flink 在机器学习这个领域发力较晚，社区版没有一个完整的机器学习算法库可以用，Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库，Alink 也在往 Flink 社区贡献的路上。今天我主要讲的就是如何在 Zeppelin 里使用 Alink。 为什么在 Zeppeli...
Apache Zeppelin Github Viewer-crx插件
04-01
语言:English (United States) Github Viewer for Apache Zeppelin 安装该文件以按预期的方式在Github中查看Apache Zeppelin笔记本。 请在此处创建任何问题：https://github.com/rishabhbhardwaj/zeppelin-github-viewer/issues欢迎您为改善此问题做出贡献。 这是该项目的链接：https://github.com/rishabhbhardwaj/zeppelin-github-viewer
Apache Zeppelin 0.7.2 中文文档
12-01
Apache Zeppelin 0.7.2 中文文档 Apache Zeppelin 0.7.2 中文文档 Apache Zeppelin 0.7.2 中文文档
zeppelin-cloudera:适用于Cloudera Manager的Apache Zeppelin包裹和CSD
05-18
适用于Cloudera的Apache Zeppelin包裹和CSD 此git存储库用于构建CDH的CSD和宗地。 Zeppelin将在Cloudera Manager中作为服务运行，并且其配置通过CM Web UI进行维护。 CSD只有python interpeter。 使用的是齐柏林飞艇0.7.3。 这已在CDH 5.12.0上进行了测试。 建造 要自己构建CSD和宗地，可以运行构建脚本： #Build the Parcel files, this make take some time sh build.sh parcel #Build the CSDs sh build.sh csd 安装 可在上找到有关安装自定义服务的信息。 配置 去做
Apache Zeppelin系列教程第一篇——安装和使用
诸葛子房的博客
04-27 2982
Apache Zeppelin是一种开源的Web笔记本类型交互式数据分析工具，它提供了基于浏览器的界面，允许数据工程师和科学家通过各种语言和工具，如Scala, Python, SQL, R,等等，交互式地进行数据分析、可视化以及分享。6. 安全性：提供了基于用户和角色的访问控制系统，可以限制对笔记本和解释器的访问，确保数据安全。1. 笔记本界面：提供了一个交互式的Web界面，用户可以轻松地编写和运行代码，查看结果，进行数据可视化，以及方便地管理和分享笔记本。配置Interpreters。
metabase连接spark报错Could not open client transport with JDBC Uri: jdbc:hive2://192.168.x.xx:10000/def
前方的路在刚开始
08-05 722
真没法，解决，spark，服务要怎么开启，怎么连接，连哪个库，什么版本，官方都没有资料的。再重启这个服务nohup java -jar xxx.jar &最好还是用presto。spark就好好的完成自己的计算。ps -ef|grep metabase 查一下。重新添加发现错误变了，说明jar包添加成功。官方说，缺少依赖的话，要加到他的依赖中。然后放到plugins下面重启，服务。这是我的plugins插件目录。直接kill -9 这个服务。...
zeppelin的介绍与使用
热门推荐
lee_dalizi的博客
11-23 3万+
zeppelin的介绍与使用 第1章 概述 1.1 什么是zeppelin Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。 开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。官方支持的执行引擎用一幅图可以清晰描述执行引擎的作用就是执行笔记中的与引擎
Zepplin解读
GavinKai
05-27 1万+
Zeppelin简介 Apache Zeppelin是基于Web的笔记本notebook，支持Spark，Python，SQL，Scala等数据驱动的交互式数据分析和协作文档。 Zeppelin Notebook可以满足数据摄取、数据发现、数据分析、数据可视化与协作。 可视化支持的开发语言与技术 支持Spark、PySpark、Spark R、Spark SQL（包含加载这些模块的依赖） 允许无缝连接任何JDBC数据源，Postgrepsql、Mysql、MariaDB、Redshift、Ap
一篇全面的zepplin教程
jin6872115的博客
10-29 1万+
https://www.jianshu.com/p/090f02005e07   1.Zeppelin是什么? Apache Zeppelin是一款基于Web的Notebook(类似于jupyter notebook)，支持交互式地数据分析。 Zeppelin可实现你所需要的： 数据采集 数据发现 数据分析 数据可视化和协作 支持多种语言，默认是Scala(背后是Spark shel...
用ApacheZeppelin进行基于SQL的数据查询和分析
禅与计算机程序设计艺术
07-19 2904
作者：禅与计算机程序设计艺术 Apache Zeppelin 是一款开源的、基于 Web 的交互式数据分析平台。其提供基于 SQL 的查询语言、可视化图表展示功能、SQL 代码自动补全、多种编程语言支持、数据导入导出功能等。Zeppelin 支持大数据处理、机器学习、流计算、金融数据分析等场景，可用于企业内部系统的快速开发与部署，也适合作
大数据可视化从未如此简单 - Apache Zepplien全面介绍
微信搜：import_bigdata，大数据领域硬核原创作者
12-20 1062
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！前言我们在进入 Apache Z...
Apache Zeppelin系列教程第二篇——整体架构
诸葛子房的博客
04-27 1240
Zeppelin Server是独立的进程，进程日志在logs目录下的 zeppelin-{user}-{host}.log, 每个Interpreter也是一个独立的进程，进程日志是 logs目录下的 zeppelin-interpreter-{interpreter}-*.log， 所以如果碰到任何问题可以先去这两个log文件里去查找线索。2. 另外zeppelin的另一个亮点是其结果可视化能力，需要在前后台传递图片，并且支持较大数据量的传输的能力（相对传统http技术）。
未来大数据平台：使用Zeppelin和Spark一键搭建数据分析及可视化平台案例
weixin_45583158的博客
11-04 281
导读：在互联网时代，所有业务都需要搭建自己的大数据平台集群，目前最有效率的方式就是在公有云平台上，利用已有的脚本以及镜像，可以在几分钟内搭建好一套大数据系统用于开发、测试...
在Zeppelin上运行Spark程序
AaronLwx的博客
07-25 1707
前言 不得不说，Spark在Zeppelin上的使用还是比较方便的，比你在终端启动一个spark-shell或者spark-sql强太多了。闲话少说，我们一起来看一看吧！ 读取本地JSON文件 由于Zeppelin默认支持Spark，所以可以不用在开头加上%spark关键词 接着我们创建一张临时表，使用SQL来查询 妥妥的！注意SQL语句的结尾不要加分号，不然会报错！ 读取HD...
英雄惜英雄-当Spark遇上Zeppelin之实战案例
微信搜：import_bigdata，大数据领域硬核原创作者
01-06 767
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源我们在之前的文章《大数据可视化从未如此简单 - Apache Zepplien全面介绍》中提到过一文中介绍了 Zeppelin ...
让Spark如虎添翼的Zeppelin – 基础篇
weixin_34194359的博客
08-01 364
Spark 是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。整个开源社区也很活跃。 但是Spark在易用性上面还是有一些美中不足。 对于刚接触的人来说，上手以及环境搭建还是有一些困难。 另外，如果希望将结果绘制成图表分享给别人，还需要很长一段路程。 目前已经有一些解决方案： 【TBD】Jupyter Notebook 使用很广泛，...
基于 Zeppelin 的 Flink/Spark 云原生实践
字节跳动云原生计算官方账号
11-10 2860
本文整理自火山引擎基础架构研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。
apache zeppelin
08-19
Apache Zeppelin是一个开源的数据分析和可视化工具，它提供了交互式数据分析的环境。Zeppelin的设计目标是通过提供一个灵活、易用的平台，使用户能够快速有效地分析和可视化大量的数据。 Zeppelin内置了多种功能强大的解释器，包括支持SQL查询的Apache Spark、支持编写Python和R代码的解释器等。用户可以通过这些解释器在Zeppelin中进行数据的查询、分析和可视化操作。 Zeppelin提供了丰富的可视化工具，用户可以使用内置的图表库或者通过插件的形式集成其他的可视化工具，如Echarts和Plotly等。这些工具使用户能够以各种方式展示和呈现数据，从而更好地理解和分析数据。 Zeppelin还具有可扩展性和协作性的特点。它支持多种数据源的连接，包括Hadoop、Hive、MySQL等，用户可以方便地将多个数据源集成到一个笔记本中进行分析。此外，Zeppelin还支持多用户和多团队的协作，用户可以共享和讨论分析结果，提高团队的协作效率。 总之，Apache Zeppelin是一个强大的数据分析和可视化工具，它提供了丰富的功能和易用的界面，帮助用户更好地理解和分析数据。无论是个人用户还是团队，都可以通过Zeppelin进行高效的数据分析工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值