hive3.1.3安装教程
简介
Hive是一个基于Hadoop的数据仓库工具,它提供了类似于SQL的接口,可以用来查询和分析大规模数据集。Hive将SQL语句转换成MapReduce任务,在Hadoop上运行并行处理数据。Hive是一个强大的数据仓库工具,适用于处理海量数据的查询和分析。使得用户能够轻松地利用Hadoop集群进行数据处理。
特点:
1.易用性: Hive允许用户使用SQL查询语句进行操作,减少了用户学习新的编程语言的时间成本。
2.扩展性: Hive支持自定义MapReduce程序和用户自定义函数,用户可以根据实际需求进行扩展和定制。
3.易于部署: Hive基于Hadoop生态系统,可以方便地部署和管理。
4.处理海量数据: ive可以处理PB级别的数据,并具有高容错性
安装
准备工作:
开启虚拟机打开机群:start-dfs.sh
1.在hadoop环境下
2.hive安装包
3.mysql 的jar包
下载hive安装包:apache-hive-3.1.3-bin.tar.gz
http://archive.apache.org/dist/hive/
将安装包放到:/opt/sofrware
安装路径:/opt/module 解压指令
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/module/
在module下修改文件名
mv apache-hive-3.1.3-bin/ hive-3.1.3
新建xml文件
/opt/module/hive-3.1.3/conf
vim hive-site.xml
hive-site.xml配置文件,与本地mysql建立连接。 如下
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.98.129:3306/hive? <!-- win,ip --> createDatabaseIfNotExist=true&useSSL=false&allowPublicKeyRetrieval=true&characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name> <!-- sql驱动 -->
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name> <!-- sql账号 -->
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name><!-- sql密码 -->
<value>123456</value>
</property>
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>bd01</value> <!-- bd01本机名 -->
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://bd01:9083</value> <!-- bd01本机名 -->
</property>
<property>
<name>hive.server2.enable.doAs</name>
<value>false</value>
</property>
</configuration>
#/opt/module/hive-3.1.3/conf
#cp hive-env.sh.template hive-env.sh
export HADOOP_HOME=/opt/module/hadoop-2.7.7
export HIVE_CONF_DIR=/opt/module/hive-3.1.3
export HIVE_AUX_JARS_PATH=/opt/module/hive-3.1.3/lib
#配置全局变量
#vim /etc/profile
export HIVE_HOME=/opt/module/hive-3.1.3
export PATH=$HIVE_HOME/bin:$PATH
# 重启配置文件
source /etc/profile
#mysql驱动
#将mysql-connector-j-8.0.31.jar 放到该目录下
/opt/module/hive-3.1.3/lib
#/opt/module/hive-3.1.3/logs
#启动metastore服务
nohup /opt/module/hive-3.1.3/bin/hive --service metastore > /opt/module/hive-3.1.3/logs/metastore.log 2>&1 &
#启动hiveserver2服务
nohup /opt/module/hive-3.1.3/bin/hive --service hiveserver2 > /opt/module/hive-3.1.3/logs/hiveserver2.log 2>&1 &
#初始化
schematool -initSchema -dbType mysql -verbos
#进入mysql的bin目录下cmd,正确的mysql路径和账号密码
mysql -u root -p123456
update mysql.user set host='%' where user='root';
flush privileges;
如图:
#查看库名:
show databases;
#删除数据库:
drop database hive;
#进入linux重新初始化命令
schematool -initSchema -dbType mysql -verbos
如下图成功安装