[hive]搭建hive3.1.2hiveserver2高可用可hive metastore高可用

已于 2023-09-19 10:27:07 修改
阅读量468 收藏
点赞数
分类专栏： hive 文章标签： hive hadoop 数据仓库
于 2023-09-19 10:18:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35896718/article/details/133015552
版权

参考:

Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本_薛定谔的猫不吃猫粮的博客-CSDN博客

没用里头的hive on spark,测试后发现版本冲突 

一、Hive 集群规划(蓝色部分)

ck1ck2ck3
SecondaryNameNodeNameNode
DataNodeDataNodeDataNode
ResourceManager
yarn historyserver
NodeManagerNodeManagerNodeManager
MySQL
hiveServer2hiveServer2
hiveMetastorehiveMetastore
Spark
Spark JobHistoryServer

二、配置文件

记得向hive的lib导入mysql6以上的安装包，否则：

[hive]报错:Caused by: java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver_胖胖学编程的博客-CSDN博客

1、ck3和ck2相同的

1)hive-env.sh 末尾添加3行：

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/data_warehouse/module/hadoop-3.1.3

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/data_warehouse/module/hive-3.1.2/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/home/data_warehouse/module/hive-3.1.2/lib

2)环境变量

#HIVE_HOME
export HIVE_HOME=/home/data_warehouse/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

2、ck3和ck2不同的

ck3

hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://ck3:3306/metastore?useSSL=false</value>
  </property>
<!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
<!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
<!-- jdbc 连接的 password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
<!-- Hive 元数据存储版本的验证 -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
<!--元数据存储授权-->
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
  <!-- 指定存储元数据要连接的地址
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck3:9083</value>
  </property> -->
<!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>

  <property>
    <name>hive.server2.session.check.interval</name>
    <value>60000</value>
  </property>
  <property>
    <name>hive.aux.jars.path</name>
    <value>/home/data_warehouse/module/hive-3.1.2/lib</value>
  </property>

  <property>
    <name>hive.execution.engine</name>
    <value>mr</value>
  </property>

  <!--hive metastore高可用-->
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck2:9083,thrift://ck3:9083</value>
  </property>

  <!--hiveserver2高可用-->
  <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <!-- <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property> -->
  <property>
    <name>hive.server2.zookeeper.namespace</name>
    <value>hiveserver2_zk</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>ck1:2181,ck2:2181,ck3:2181</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <!--填写节点, 如ck2,ck3 注意要填写本机的hostname-->
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ck3</value>
  </property>
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  <!--hiveserver2 webui-->
  <property>
      <name>hive.server2.webui.host</name>
      <value>ck3</value>
  </property>
  <property>
      <name>hive.server2.webui.port</name>
      <value>10002</value>
  </property>
  <!-- <property>
    <name>hive.server2.idle.session.timeout</name>
    <value>3600000</value>
  </property>  -->

</configuration>

ck2

hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://ck3:3306/metastore?useSSL=false</value>
  </property>
<!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
<!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
<!-- jdbc 连接的 password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
<!-- Hive 元数据存储版本的验证 -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
<!--元数据存储授权-->
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
  <!-- 指定存储元数据要连接的地址
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck3:9083</value>
  </property> -->
<!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>

  <property>
    <name>hive.server2.session.check.interval</name>
    <value>60000</value>
  </property>
  <property>
    <name>hive.aux.jars.path</name>
    <value>/home/data_warehouse/module/hive-3.1.2/lib</value>
  </property>

  <property>
    <name>hive.execution.engine</name>
    <value>mr</value>
  </property>

  <!--hive metastore高可用-->
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://ck2:9083,thrift://ck3:9083</value>
  </property>

  <!--hiveserver2高可用-->
  <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <!-- <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property> -->
  <property>
    <name>hive.server2.zookeeper.namespace</name>
    <value>hiveserver2_zk</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>ck1:2181,ck2:2181,ck3:2181</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <!--填写节点, 如ck2,ck3 注意要填写本机的hostname-->
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ck2</value>
  </property>
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  <!--hiveserver2 webui-->
  <property>
      <name>hive.server2.webui.host</name>
      <value>ck2</value>
  </property>
  <property>
      <name>hive.server2.webui.port</name>
      <value>10002</value>
  </property>
  <!-- <property>
    <name>hive.server2.idle.session.timeout</name>
    <value>3600000</value>
  </property>  -->

</configuration>

三、运行hiveserver2和hive metastore服务的脚本（ck2，ck3相同,下面缺一不可)

将这两个脚本放在/home/data_warehouse/module/hive-3.1.2/bin下，并chmod 777

1、hiveservices.sh

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

2、hive2server.sh

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== ck3 启动 HiveServer2和Metastore服务  ==================="
        ssh ck3 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh start"
        echo " =================== ck2 启动 HiveServer2和Metastore服务  ==================="
        ssh ck2 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh start"
;;
"stop")
        echo " =================== ck3 停止 HiveServer2和Metastore服务  ==================="
        ssh ck3 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh stop"
        echo " =================== ck2 停止 HiveServer2和Metastore服务  ==================="
        ssh ck2 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh stop"
;;
"status")
        echo " =================== ck3 查看 HiveServer2和Metastore服务  ==================="
        ssh ck3 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh status"
        echo " =================== ck2 查看 HiveServer2和Metastore服务  ==================="
        ssh ck2 "/home/data_warehouse/module/hive-3.1.2/bin/hiveservices.sh status"
;;

*)
    echo "Input Args Error...start|stop|status"
;;
esac

四、启动hiveserver2和metastire服务

1、启动 :在ck3或ck2上:hive2server.sh start

2、查看状态 :在ck3或ck2上:hive2server.sh status

3、关闭 :在ck3或ck2上:hive2server.sh stop

五、使用

依次输入下面两个命令

beeline
!connect jdbc:hive2://ck1,ck2,ck3/;password=123456;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk  root

胖胖学编程
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hiveserver2的高可用HA
九师兄
09-12 3620
文章目录1. 架构原理介绍2.配置3. 检验是否在zookeeper上注册5. beeline连接6. 测试 1. 架构原理介绍 这里最主要的是利用了zk的命名空间，首先我们把两个hiserver2先后启动，注册到zk集群的，然后通过zk轮询做高可用，就是这么简单，下边详细讲解一下，安装配置 第一步 在两台节点上安装hive，除了配置的ip不同，其他的都相同，并在hive-site.xml中添加如下配置 2.配置 <property> <name>spark.deplo
Hive Metastore、Hive server和Hive thrift服务
JustinMars的博客
07-17 759
Hive Metastore、Hive server和Hive thrift服务介绍
hiveserver2的配置和启动
热门推荐
leanaoo的博客
10-24 6万+
概览 1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件 3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml 利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件 其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/apache-...
大数据集群搭建（连载版）--Hive高可用搭建
xiaohu的博客
05-08 471
toRANDOMorSEQUENTIALRANDOMSEQUENTIAL存在两种模式RANDOM和SEQUENTIALRANDOM是在配置的uris列表中随机选中一个metastore作为对外开放的元数据服务，SEQUENTIAL则是尝试从列表的第一个开始连接，连接正常的作为对外开放的元数据服务部署Hive在安装前需要先安装外部存储元数据数据库，一般情况下使用mysql作为元数据数据库（部署方式略），并创建对应hive数据库用户及数据库，并将的驱动放入${HIVE_HOME}/lib目录下。
Hive中MetaServer与HiveServer2的应用
weixin_42073629的博客
07-05 222
在hive中有metaServer与hiveServer2两种服务，看了好多文章说这两个的区别，文章内容有对有错，不够全面，故在这里好好总结一下。 首先，下面这个hive构架图，我们一定不陌生，它反应出hive有哪些组件结构 当然下面的图是hadoop1的部分，现在JobTracker是Yarn了 上面的部分是访问Hive的三个入口， 1：直接Cli 2: 通过JDBC 3： webUI 当我们要连接Hive进行操作时，首先必须是安装了，安装hive很简单，直接在conf/hive-site配
Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本
weixin_52918377的博客
05-21 1943
hive部署 下载apache hive 3.1.2 http://archive.apache.org/dist/hive/ 注：先看hive编译文档，使用编译好的安装包进行部署 官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。 后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。 重新编译，参考本人写的另一篇文章 hive3.1.4源码编译 兼容spark3.0.0 hive on spark 升级guava版本兼容
hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2
weixin_52918377的博客
04-20 2187
HiveServer2 高可用 修改配置hive-site.xml,增加一下内容 <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property> <property> <name>hive.server2.zookeeper.namespace</
hive-jdbc-3.1.2-standalone
07-18
hive-jdbc-3.1.2-standalone适用于linux
hive-metastore-3.1.2.jar
04-15
hive-metastore-3.1.2.jar
hive-jdbc-3.1.2-standalone.jar
06-15
Hive连接的jar包——hive-jdbc-3.1.2-standalone.jar，使用数据库连接软件连接数据仓库时需要使用相应的驱动器驱动，希望对大家有所帮助
hive-exec-3.1.2 排除guava
03-19
hive-exec-3.1.2 排除guava
含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz
08-14
含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz 含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-3.1.2-bin.tar.gz 含两个文件hive-jdbc-3.1.2-standalone.jar和apache-hive-...
Spark SQL数据源 - Hive表
IT深耕十余载，大道之简
06-01 356
Spark SQL对Hive的支持非常强大，可以直接读取和写入Hive表中的数据。Hive是一个基于Hadoop的数据仓库，它提供了SQL接口来查询和管理存储在HDFS或其他Hadoop兼容存储系统中的数据。
Filter和ServletContext和Listener
luosuss的博客
06-01 433
2.登录loginServlet中获取用户名和密码，存到user对象中，然后存在session中(不关闭服务器，这个session就一直在服务器里面)，最后重定向到hhh.html。3. 使用一个过滤器对hhh.html进行拦截，先从session中获取用户信息，如果没有登录，获取的是null,就跳转到登录页面，如果不为null，说明登录成功，放行。1.访问hhh.html这个页面时必须先要登录，不登录不能访问，使用过滤器代码书写代码让其跳转到登录页面login.html。javaweb的监听器就是。
查看Hive表的描述信息，包括在HDFS上的Location信息
青春不流名
06-01 569
DESCRIBE FORMATTED 表名;
计算机毕业设计hadoop++hive微博舆情预测 微博舆情分析 微博推荐系统 微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 知识图谱
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-02 599
计算机毕业设计hadoop++hive微博舆情预测 微博舆情分析 微博推荐系统 微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 知识图谱
hive中的join操作及其数据倾斜
qq_39889944的博客
05-29 887
简要介绍了在hive中进行join操作可能遇到的若干问题

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值