快速部署Hive与Zeppelin

部署Hive与Zeppelin

首先确保Linux环境下安装了jdk，mysql与hadoop，并把Hive与Zeppelin上传至/opt文件夹下。

Hive安装

#解压
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz 
#移动解压文件夹至soft/hive110
mv hive-1.1.0-cdh5.14.2 soft/hive110
#移动到
cd soft/hive110/conf/
#创建
vim hive-site.xml
#粘贴

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- 在configuration中加入配置 -->
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<!-- 如果是远程mysql数据库的话需要在这里写入远程的IP或hosts -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
    </property>
<property>
    <name>hive.server2.authentication</name>
    <value>NONE</value>
  </property>
  <property>
    <name>hive.server2.thrift.client.user</name>
    <value>root</value>
    <description>Username to use against thrift client</description>
  </property>
    <property>
    <name>hive.server2.thrift.client.password</name>
    <value>123456</value>
    <description>Password to use against thrift client</description>
  </property>
</configuration>

#配置环境变量
vim /etc/profile
#末尾粘贴
#hive
export HIVE_HOME=/opt/soft/hive110
export PATH=$PATH:$HIVE_HOME/bin
#重新加载
source /etc/profile
#把mysql-connector-java 5.1.38上传至/opt/soft/hive110/lib；从本地maven仓库查找
#去mysql数据库下建一个元数据库
schematool -dbType mysql -initSchema
#登录mysql
mysql -uroot -p123456
#显示所有数据库
showdatabases;
#出现hive数据库即可

#启动Hadoop
start-all.sh
#启动hive，此窗口不能关闭，为元数据窗口
hive --service metastore
#新建一个此虚拟机的连接
hive
#查看数据库，只有一个default
show databases;

#创建数据库
create database mydemo;
use mydemo;
#建表
create table userinfos(userid string,username string,birthday string);
#插入数据
insert into userinfos values('1','zs','1999-8-5');
#通过HDFS的web端可以查看这个数据库及数据文件
#新建一个此虚拟机的连接，作为操作窗口，并下载数据文件
 hdfs dfs -get /hive/warehouse/userinfos/000000_0 /opt

安装zeppelin：

#解压zeppelin
tar -zxvf zeppelin-0.8.1-bin-all.tgz 
#移动并重命名
mv zeppelin-0.8.1-bin-all soft/zeppelin081
#进入conf文件夹
cd soft/zeppelin081/conf
#复制并重命名文件
cp zeppelin-site.xml.template  zeppelin-site.xml
#
vim zeppelin-site.xml
#在configuration下插入
<property>
  <name>zeppelin.helium.registry</name>
  <value>helium</value>
</property>

#复制重命名
cp zeppelin-env.sh.template zeppelin-env.sh
vim zeppelin-env.sh
#修改JAVA_HOME和HADOOP_CONF_DIR的路径
export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop 

#
cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zeppelin081/conf/
#
cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/zeppelin081/interpreter/jdbc/
#
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
#上传java-jason.jar至/opt/soft/zeppelin081/lib

vim /etc/profile
#末尾插入
#zeppeline env
export ZEPPELIN_HOME=/opt/soft/zeppelin081
export PATH=$PATH:$ZEPPELIN_HOME/bin
#
source /etc/profile
#新建连接窗口，准备连接hive，为连接窗口
hive --service hiveserver2

#回到操作窗口
zeppelin-daemon.sh start

#zeppelin Web端
192.168.64.188:8080