Zeppelin 0.8.1安装(master使用yarn模式)

@羲凡——只为了更好的活着

Zeppelin 0.8.1安装

Zeppelin 对于那些讨厌linux界面的小伙伴们是福音，对于有一定编程能力(不限于shell、sql、python、spark)的分析师也是福音。他有更好看的界面，用简单的操作就能做出图形展示。我也是第一次接触Zeppelin，大家一起来学习。

1.下载Zeppelin 0.8.1安装包

下载地址：http://archive.apache.org/dist/zeppelin/zeppelin-0.8.1/zeppelin-0.8.1-bin-all.tgz

2.解压并配置/etc/profile

a.解压到当前文件夹

tar -zxf software/zeppelin-0.8.1-bin-all.tgz -C ./

b.进入 /etc/profile 目录再最下面添加如下内容，保存退出后 执行 source /etc/profile

#zeppelin
export ZEPPELIN_HOME=/usr/local/package/zeppelin-0.8.1-bin-all
export PATH=$PATH:$ZEPPELIN_HOME/bin

3.修改配置文件

cp shiro.ini.template shiro.ini
cp zeppelin-env.sh.template zeppelin-env.sh
cp zeppelin-site.xml.template zeppelin-site.xml

a. shiro.ini 是用来多用户登录和权限管理，vi 进入该文件，根据自己的需要设置登录zeppelin的用户名和密码(默认的情况下admin所在的一行是被注释掉的)

[users]
# List of users with their password allowed to access Zeppelin.
# To use a different strategy (LDAP / Database / ...) check the shiro doc 
# at http://shiro.apache.org/configuration.html#Configuration-INISections
# To enable admin user, uncomment the following line and set an appropriate password.
admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

b. zeppelin-env.sh 是zeppelin的环境变量，vi 进入该文件，根据自己公司实际情况修改对应参数

export JAVA_HOME=/usr/local/package/jdk1.8.0_131
# export MASTER=yarn-cluster #可以在页面中设置
export SPARK_HOME=/usr/local/package/spark-2.3.2-bin-hadoop2.7
# export SPARK_SUBMIT_OPTIONS="--driver-memory 2M --executor-memory 5G"
export SPARK_APP_NAME="ZeppelinAaron"
export HADOOP_CONF_DIR=/usr/local/package/hadoop-2.7.3/etc/hadoop

特别说明(从官网拷贝的)

1. yarn cluster mode is supported from 0.8.0
2. For yarn mode, you must specify SPARK_HOME & HADOOP_CONF_DIR
3. You can either specify them in zeppelin-env.sh, or in interpreter setting page

详情参照官网 http://zeppelin.apache.org/docs/0.8.1/interpreter/spark.html#3-yarn-mode

c. zeppelin-site.xml ，vi 进入该文件，修改如下参数

<!-- zeppelin服务所在的ip地址 -->
<property>
  <name>zeppelin.server.addr</name>
  <value>deptest75</value>
  <description>Server address</description>
</property>
<!-- zeppelin服务使用的端口，默认是8080，如果被占用请修改 -->
<property>
  <name>zeppelin.server.port</name>
  <value>8080</value>
  <description>Server port.</description>
</property>
<!-- zeppelin 能同时执行多个sparksql，默认为false -->
<property>
  <name>zeppelin.spark.concurrentSQL</name>
  <value>true</value>
  <description>Server address</description>
</property>
<!-- Secure the Websocket channel ,是为了实现zeppelin多用户登录使用 -->
<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>false</value>
  <description>Anonymous user allowed by default</description>
</property>

4.启动

zeppelin-daemon.sh start

启动成功后，输入jps 查看是否有守护进程 ZeppelinServer

5.界面展示

点击右上角登录，输入用户名密码( shiro.ini 中设置的)，进入如下界面

这表示你已经安装成功

若对博客中有任何问题，欢迎留言交流

恭喜您已经完成Zeppelin 的安装
恭喜您已经完成Zeppelin 的安装
恭喜您已经完成Zeppelin 的安装

@羲凡——只为了更好的活着