使用zeppelin学习Flink

一、什么是zeppelin

zeppelin是一个基于web的notebook，支持各种解析器，可视化的数据提取，数据发现，数据分析等。当前zeppelin支持多中解析器，比如spark,python,jdbc,markdown,shell等等。

 

二、下载安装zeppelin

2.1 下载

http://zeppelin.apache.org/download.html

第一个是完整安装包，第二个是包含了Spark的解释器，其他解释器需要通过脚本进行在线下载，我这选择第一个完整版，直接下载。点击后，将进入如下下载页面，选择一个镜像点下载即可。

2.2 安装

#直接解压即可，这里解压到/opt目录下
$ sudo tar xf zeppelin-0.9.0-bin-all.tgz -C /opt/

$ ls /opt
zeppelin-0.9.0-bin-all


$ ls /opt/zeppelin-0.9.0-bin-all
bin  conf  interpreter  k8s  lib  LICENSE  licenses  notebook  NOTICE  plugins  README.md  zeppelin-web-0.9.0.war  zeppelin-web-angular-0.9.0.war

2.3 配置

$ cd /opt/zeppelin-0.9.0-bin-all/conf
$ sudo cp zeppelin-env.sh.template zeppelin-env.sh
$ sudo vim zeppelin-env.sh

主要为了设置jdk路径，把注释去掉，填入本地jdk安装路径

如何安装jdk 参考https://blog.csdn.net/happytree001/article/details/114273426

2.4 启动

$ cd /opt/zeppelin-0.9.0-bin-all/
$ sudo ./bin/zeppelin-daemon.sh start
Please specify HADOOP_CONF_DIR if USE_HADOOP is true
Log dir doesn't exist, create /opt/zeppelin-0.9.0-bin-all/logs
Pid dir doesn't exist, create /opt/zeppelin-0.9.0-bin-all/run
Zeppelin start                                             [  OK  ]

启动成功后，将看到监听了8080，可以通过web进行访问。

2.5 停止zeppelin

$ cd /opt/zeppelin-0.9.0-bin-all
$  sudo ./bin/zeppelin-daemon.sh stop 
Please specify HADOOP_CONF_DIR if USE_HADOOP is true
Zeppelin stop                                              [  OK  ]

 

三、简单使用

3.1配置flink

 

因zeppelin现在只支持flink1.10，所以这里下载flink1.10

https://flink.apache.org/downloads.html

解压

$ sudo  tar xf flink-1.10.0-bin-scala_2.11.tgz -C /opt

设置zeppelin的配置，FLINK_HOME为flin解压目录，我这里为/opt/flink-1.10.0

单击anonymous,弹出框中选择 Interpreter

界面保存后，将写入conf/interpreter.json中

3.2 开启使用

选择flink的教程tutorial,然后选择一个flink基础

开始快乐的学习之旅！！

点击运行

运行完成后，可以点击flinkjob进入flink的web界面