Zeppelin 可视化操作spark sql

2019独角兽企业重金招聘Python工程师标准>>>

pache Zeppelin提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。

软件功能

　　数据提取

　　数据发掘

　　数据分析

　　数据可视化展示以及合作

软件特色

　　Apache Spark 集成

　　Zeppelin 提供了内置的 Apache Spark 集成。你不需要单独构建一个模块、插件或者库。

　　Zeppelin的Spark集成提供了：

　　自动引入SparkContext 和 SQLContext

　　从本地文件系统或maven库载入运行时依赖的jar包。更多关于依赖载入器

　　可取消job 和 展示job进度

安装说明

　　1. 安装好npm和node

　　2. 进入zeppelin-web目录下，执行npm install。它会根据package.json的描述安装一些grunt的组件，安装bower，然后再目录下生产一个node_modules目录。

　　3. 执行bower –-allow-root install，会根据bower.json安装前段库依赖，有点类似于java的mvn。

　　4. 执行grunt --no-color –-force，会根据Gruntfile.js整理web文件。

　　第3、4步要注意，本来给定的bower和grunt文件中使用的"node/node"命令，因为使用maven自动安装时，会在当前目录下生成node目录，其中包含node命令。我们之前已经安装了nodejs命令，并新链接了命令node，所以这里需要将其修改为"node"。

　　5. 执行mvn install -DskipTests，把web项目打包，在target目录下会生成war

　　pom.xml在生成war包的时候，要参照dist\WEB-INF\web.xml文件，所以在执行该步骤之前，要明确zeppelin-web目录下由dist目录，才能最终生成正确的war包。

使用方法

　　数据可视化

　　一些基本的图表已经包含在Zeppelin中。可视化并不只限于SparkSQL查询，后端的任何语言的输出都可以被识别并可视化。

　　Bank

　　动态表格

　　Zeppelin 可以在你的笔记本中动态地创建一些输入格式。

　　协作

　　Notebook 的 URL 可以在协作者间分享。 Zeppelin 然后可以实时广播任何变化，就像在 Google docs 中一样。

　　发布

　　Zeppelin提供了一个URL用来仅仅展示结果，那个页面不包括Zeppelin的菜单和按钮。这样，你可以轻易地将其作为一个iframe集成到你的网站。

更新日志

　　后端 interpreter 支持

　　该版本支持以下新的 interpreter

　　Beam

　　Pig

　　Scio

　　Spark

　　ZEPPELIN-1643 - 从 interpreter 页面访问 spark web UI

　　ZEPPELIN-1815 - 支持 Spark 2.1

　　ZEPPELIN-1883 - 无法在 PySpark 中导入 spark 提交的包

　　Python

　　ZEPPELIN-1115 - interpreter for SQL over DataFrame

　　ZEPPELIN-1318 - 添加对在 python interpreter 中显示 png 图像的 matplotlib 的支持

　　ZEPPELIN-1345 - 创建一个自定义的 matplotlib 后端，本地支持在 Python interpreter 单元格中的内联绘制

　　ZEPPELIN-1655 - Python interpreter 中的动态表单不起作用

　　ZEPPELIN-1671 - Conda interpreter

　　ZEPPELIN-1683 - 在 docker 容器中运行 python 进程

转载于:https://my.oschina.net/thomas2/blog/3019727