可视化工具Zeppelin 安装与实例

安装

1、下载 解压 zeppelin-0.8.1-bin-all.tgz

2、配置 zeppelin-env.sh

export SPARK_MASTER_IP=192.168.121.25
export SPARK_LOCAL_IP=192.168.121.25
export JAVA_HOME=/usr/local/src/jdk1.8
export SPARK_HOME=/usr/local/src/spark-2.2.1-bin-hadoop2.6
export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.6.5/etc/hadoop
export ZEPPELIN_INTP_JAVA_OPTS="-XX:PermSize=512M -XX:MaxPermSize=1024M"

配置zeppelin-site.xml，修改端口为8181

<property>
  <name>zeppelin.server.port</name>
  <value>8181</value>
  <description>Server port.</description>
</property>

3、开启

bin/zeppelin-daemon.sh start

4、UI

http://192.168.121.25:8181

 

实例

%sh 表示使用shell命令

%sh

ls -l /root/mydir/ml-100k

-rw-r--r-- 1 root root     716 Jul 19  2000 allbut.pl
-rw-r--r-- 1 root root     643 Jul 19  2000 mku.sh
-rw-r--r-- 1 root root    6750 Jan 29  2016 readme
-rw-r--r-- 1 root root 1586544 Mar  8  2001 u1.base
-rw-r--r-- 1 root root  392629 Mar  8  2001 u1.test
-rw-r--r-- 1 root root 1583948 Mar  8  2001 u2.base
-rw-r--r-- 1 root root  395225 Mar  8  2001 u2.test
-rw-r--r-- 1 root root 1582546 Mar  8  2001 u3.base
-rw-r--r-- 1 root root  396627 Mar  8  2001 u3.test
-rw-r--r-- 1 root root 1581878 Mar  8  2001 u4.base
-rw-r--r-- 1 root root  397295 Mar  8  2001 u4.test
-rw-r--r-- 1 root root 1581776 Mar  8  2001 u5.base
-rw-r--r-- 1 root root  397397 Mar  8  2001 u5.test

%spark 使用spark读取本地数据

%spark
val userText = sc.textFile("file:///root/mydir/ml-100k/u.user")

创建case class

case class UserTable(id:String, age:String, gender:String, occupation:String, zipcode:String)

创建RDD

val userRDD = userText.map(_.split("\\|")).map(s=> UserTable(s(0),s(1),s(2),s(3),s(4)))

注册为临时表

userRDD.toDF().registerTempTable("UserTable")

%sql 使用sql

%sql
select age, count(*) from UserTable
group by age
order by age

选择性查询

自定义查询范围

多字段查询