zeppelin-0.10.1 安装与部署详细步骤

zeppelin简介

Zeppelin是一个用于数据分析和可视化的开源项目，提供了交互式笔记本的功能，支持多种编程语言（包括Scala，Python，Java等）和数据源（包括Hadoop，Spark，Cassandra等），可以让用户在同一环境下进行数据探索、可视化、建模、数据交互和故障排除等。Zeppelin 的目标是使数据分析和可视化变得更加容易、快捷和可重现。Zeppelin 基于 Apache 开源许可证，可以在各种操作系统上运行。

Zeppelin是一个交互式的数据分析和可视化工具，主要应用于数据科学领域。它的应用场景包括以下几个方面：

1. 数据探索和分析：Zeppelin提供了交互式的数据探索和分析功能，用户可以通过编写代码或使用预定义的模板来探索和分析数据。

2. 数据可视化：Zeppelin支持多种数据可视化方式，包括图表、图形、地图等，可以帮助用户更清晰地展示数据分析结果。

3. 数据报告和分享：Zeppelin可以生成美观的数据报告和分享数据分析结果，用户可以轻松地与团队或客户共享分析结果。

4. 数据建模和机器学习：Zeppelin支持多种数据建模和机器学习算法，用户可以使用这些算法进行数据建模和预测。

5. 大数据分析：Zeppelin可以与Hadoop、Spark、Flink等大数据框架集成，可以在大数据场景下进行数据分析和处理。

下载安装包

下载zeppelin

https://dlcdn.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz

下载hadoop

查看 hadoop版本 返回3.0.0

hadoop version 

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

下载hive

#查看hive 返回2.1.1

hive --version 

http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

上传安装包

1.上传zeppelin压缩包

1.创建目录

mkdir -p /opt/install && chmod -R 700 /opt/install
mkdir -p /opt/soft && chmod -R 700 /opt/soft

上传zeppelin-0.10.1-bin-all.tgz到/opt/install
2.解压更名

tar -zxf zeppelin-0.10.1-bin-all.tgz -C ../soft/

切换目录更名

cd /opt/soft && mv zeppelin-0.10.1-bin-all/ zeppelin

3.修改配置文件

cd /opt/soft/zeppelin/conf
cp zeppelin-site.xml.template zeppelin-site.xml
cp zeppelin-env.sh.template zeppelin-env.sh

4.编辑zeppelin-site.xml 修改ip 端口
检查端口是否在用lsof -i:8090

vim ./zeppelin-site.xml 

编辑 zeppelin-env.sh—添加JDK和Hadoop环境

export JAVA_HOME=/usr/local/java/jdk1.8.0_251
export HADOOP_HOME /opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR /etc/hadoop/conf

拷贝hive配置文件

cp /etc/hive/conf.cloudera.hive/hive-site.xml ./

拷贝对应版本的 hadoop包 hive 包
切换目录拷贝文件

cd  /opt/soft/zeppelin/interpreter/jdbc 

拷贝

#hadoop
cp /opt/install/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0.jar ./
#hive
cp /opt/install/apache-hive-2.1.1-bin/lib/curator-client-2.6.0.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/guava-14.0.1.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/hive-common-2.1.1.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/hive-jdbc-2.1.1.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/hive-serde-2.1.1.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/hive-service-2.1.1.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/hive-service-rpc-2.1.1.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/libthrift-0.9.3.jar ./
cp /opt/install/apache-hive-2.1.1-bin/lib/protobuf-java-2.5.0.jar ./
	
#zeppelin
cp /opt/install/zeppelin-0.10.1-bin-all/lib/commons-lang3-3.10.jar ./
cp /opt/install/zeppelin-0.10.1-bin-all/lib/httpclient-4.5.1.jar ./
cp /opt/install/zeppelin-0.10.1-bin-all/lib/httpcore-4.4.1.jar ./

编写环境配置

vim /etc/profile
source /etc/profile

#ZEPPELIN_HOME
export ZEPPELIN_HOME=/opt/soft/zeppelin
export PATH=$PATH:$ZEPPELIN_HOME/bin

启动

cd /opt/soft/zeppelin/bin/
zeppelin-daemon.sh start
Log dir doesn't exist, create /opt/soft/zeppelin/logs
Pid dir doesn't exist, create /opt/soft/zeppelin/run
Zeppelin start                                       

  [  OK  ]

可视化界面

打开浏览器 输入设置的ip+端口号

配置hive

右上角创建hive解释器

配置hive解释器

Interpreter Name:hive

Interpreter group:jdbc

default.driver:org.apache.hive.jdbc.HiveDriver

default.url:jdbc:hive2://172.16.88.139:10000/

default.user:root

#default.password:

添加Hive(jdbc)相关jar包

操作

create 新建-名字自定义-选择hive

执行HQL语句

%hive 
show databases;

执行linux命令

%sh 
ls /opt/soft 
cd /opt/install 
Ls