Zeppelin完美安装及hive解释器使用方法

一、安装和配置

 

安装

1. 下载安装包，解压到合适的路径下
2. 移动并重命名

[root@jzy1 opt]# tar -zxf zeppelin-0.8.1-bin-all.tgz 
[root@jzy1 opt]# mv zeppelin-0.8.1-bin-all /opt/soft/zepplin081

 

修改配置文件

1. 进入zeppelin目录下conf，复制一份zeppelin-site.xml和zeppelin-env.sh,准备下一步的修改配置
   cp zeppelin-site.xml.template zeppelin-site.xml
cp zeppelin-env.sh.template zeppelin-env.sh

[root@jzy1 opt]# cd /opt/soft/zepplin081/conf/

[root@jzy1 conf]# ls
configuration.xsl  log4j.properties               shiro.ini.template         zeppelin-env.sh.template
interpreter-list   log4j_yarn_cluster.properties  zeppelin-env.cmd.template  zeppelin-site.xml.template

[root@jzy1 conf]# cp zeppelin-site.xml.template zeppelin-site.xml
[root@jzy1 conf]# cp zeppelin-env.sh.template  zeppelin-env.sh

2. vi zepplin-site.xml 进入修改端口号，默认8080，避免冲突（tomcat一般默认为8080），修改为其他端口号

  在configuration标签内添加如下内容

<property>
  <name>zeppelin.helium.registry</name>
  <value>helium</value>
</property>

zeppelin通常会出现hdfs的权限问题，这里修改hadoop配置文件hdfs-site.xml,添加如下内容
vi /opt/soft/hadoop260/etc/hadoop/hdfs-site.xml

 <property>
 	<name>dfs.permissions</name>
 	<value>false</value>
 </property>

保存

3.修改zeppelin-env.sh前，我们先查看自己的jdk和hadoop路径
  echo $JAVA_HOME   echo $HADOOP_HOME

 vi zeppelin-env.sh 进入

在非注释处添加如下内容，第一个内容为上一步所查路径，第二个在末尾加 /etc/hadoop

export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop

启动与关闭

1. 进入bin目录下执行 ./zeppelin-daemon.sh start

2. 访问 192.168.42.200:8000 (主机ip:设置的端口号)

3. 关闭zepplin ./zeppelin-daemon.sh stop
    
   绿点显示为连接正常，打开界面如下：
   

配置hive解释器

Zepplin中没有默认的hive解释器，但是我们可以通过jdbc解释器进行添加

1. 环境和变量配置

   拷贝hive的配置文件hive-site.xml到zeppelin的conf下。

   拷贝两个jar包 hadoop-common-2.6.0.jar 和 hive-jdbc-1.2.1-standalone.jar  到zeppelin安装目录下interperter的jdbc目录中

[root@jzy1 bin]# cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zepplin081/conf

[root@jzy1 bin]# cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/zepplin081/interpreter/jdbc

[root@jzy1 bin]# cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zepplin081/interpreter/jdbc

2. 在打开的web页面 进行操作，右上角anonymous --> interpreter --> 右上角+Create

  interpreter Name 填入你写的名字
  interpreter group 选择jdbc

 3. 设置properties

default.driver    org.apache.hive.jdbc.HiveDriver
default.url    	  jdbc:hive2://192.168.56.21:10000
default.user   	  hive

4. 后台启动hiveserver2

 

二、使用Zepplin的hive解释器

  1. 点击启动网页的notebook,通过create new note创建一个notebook, 其中name可以任意，Default Interpreter选择hive.

2. 验证hive解释器(注意，zepplin中操作hive不能有分号)

%hive 
show databases

查询可视化

zeppelin使用问题

1.yarn资源空间不足
vi /opt/soft/hadoop260/etc/hadoop/yarn-site.xml
进入hadoop目录etc/hadoop下配置的yarn-site.xml,在configuration标签内插入如下内容

<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>

2.hdfs权限问题
有时会突然报错tmp文件下的权限问题，需要给hdfs下的tmp文件授权，具体看报错内容

[root@jzy bin]# hdfs dfs -chmod -R 777 /tmp

[root@jzy bin]# hdfs dfs -chmod -R 777 /tmp/hadoop-yarn/staging

3.建表问题
zeppelin建表如果不指定路径，会将建的表放到默认default下，如果想要指定路径，需要在建库之后，在zepplin设置interpreter中的hive默认路径url直接指向库

如下所示

建表

修改路径