hive安装和高可用部署

已于 2024-01-07 18:12:48 修改
阅读量1k 收藏 25
点赞数 22
分类专栏： 大数据 文章标签： hive hadoop
于 2024-01-07 18:08:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/doudoucsdn/article/details/135440268
版权
本文详细描述了如何部署Hive3.1.2版本，包括删除旧版本、配置环境变量、修改Hive-site.xml、替换依赖包、初始化元数据库、启动服务以及异常处理。同时介绍了如何配置Hive的高可用性，涉及Metastore和HiveServer2的Zookeeper相关设置。
摘要由CSDN通过智能技术生成

内容目录

hive部署

版本

组件版本
hive3.1.2
mysql5.7.41
hadoop3.1.4

部署流程

前置条件：hadoop和mysql正常运行

  1. 删除旧版本
# 删除Hive
[root@node1 ~]# cd /opt/software/
[root@node1 software]# rm -rf ./hive-x.x.x/
# 登录mysql ，删除Hive元数据库hive
[root@node2 ~]# mysql -u root -pxxxx
mysql> drop database hive;

  1. 部署hive
    2.1. hive下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/
    2.2. 上传解压：
    bash [root@node1 ~]# cd /opt/software/ [root@node1 software]# tar -zxvf ./apache-hive-3.1.2-bin.tar.gz [root@node1 software]# mv apache-hive-3.1.2-bin hive-3.1.2
    2.3. 配置环境变量：
    ```bash
    vim /etc/profile
    export HIVE_HOME=/opt/software/hive-3.1.2/
    export PATH= P A T H : PATH: PATH:HIVE_HOME/bin

    #source  生效
source /etc/profile
```

    2.4. 配置hive-site.xml文件（完成配置见下文）

    ```xml
<configuration>
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://xxxx/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value></value>
 </property>
</configuration>
```

    2.5. 依赖包更换
    删除Hive lib目录下“guava-19.0.jar ”包
    将Hadoop lib下的“guava”包拷贝到Hive lib目录下
    将“mysql-connector-java-5.1.47.jar”驱动包上传到hive节点的$HIVE_HOME/lib目录下
    2.6. 初始化hive的元数据库
    bash [root@node1 ~]# schematool -dbType mysql -initSchema
    2.7. 启动

    ```bash
#启动metastore  
nohup hive --service metastore  1>/opt/software/hive-3.1.2/logs/metastore.log 2>/opt/software/hive-3.1.2/logs/metastore.err &
#启动 hiveserver2 
nohup hiveserver2 1>/opt/software/hive-3.1.2/logs/hiveserver.log 2>/opt/software/hive-3.1.2/logs/hiveserver.err &
```

    2.8. 测试
    CLI连接测试，执行hive语句成功之后，连接使用HiveServer2/beeline进行连接测试

异常处理

  1. server.HiveServer2: Error starting HiveServer2 on attempt 22, will retry in 60000ms
    java.lang.RuntimeException: Error initializing notification event poll
    https://issues.apache.org/jira/browse/HIVE-19740
    修改 hive-site.xml配置

    <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>

  2. server.HiveServer2: Error starting HiveServer2 on attempt 1, will retry in 60000ms
    java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
    增加hive-site.xml配置

      <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
  </property>

    或者
    通过配置高可用可以解决该问题（见下文）

高可用配置

前置条件：zookeeper可用
假定部署2个节点hive服务，每个节点都启动MetaStore，HiveServer2服务

  1. MetaStore高可用
    在hive-site.xml中增加：

      <property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083,thrift://node2:9083</value>
  </property>

  2. HiveServer2高可用
    在hive-site.xml中增加：

    <property>
<name>hive.server2.log.dir</name>
<value>/opt/software/hive-3.1.2/logs</value>
</property>
  <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.server2.zookeeper.namespace</name>
    <value>hiveserver2</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>node3,node4,node5</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node2</value>
    <description>zk返回给beeline连接的HiveServer2服务器地址，每台HiveServer2 HA都需要修改</description>
  </property>
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>

  3. 连接测试
    重启2个节点中的MetaStore，HiveServer2服务
    查看是否注册到zookeeper

    [zk: localhost:2181(CONNECTED) 2] ls /hiveserver2
[leader, serverUri=node2:10000;version=3.1.2;sequence=0000000034, serverUri=node1:10000;version=3.1.2;sequence=0000000036]

    测试HiveServer2可用性

    root@node1:~# beeline -u "jdbc:hive2://node3:2181,node4:2181,node5:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2" -n root
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/software/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/software/hadoop-3.1.4/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Connecting to jdbc:hive2://node3:2181,node4:2181,node5:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2
24/01/07 17:43:09 [main]: INFO jdbc.HiveConnection: Connected to node1:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://node3:2181,node4:2181,node5:2>

完整配置：

<configuration>
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://node2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>xxxx</value>
 </property>
  <property>
  <name>hive.server2.enable.doAs</name>
  <value>false</value>
 </property>
<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>
<property>
<name>hive.server2.log.dir</name>
<value>/opt/software/hive-3.1.2/logs</value>
</property>
  <property>
    <name>hive.server2.support.dynamic.service.discovery</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.server2.zookeeper.namespace</name>
    <value>hiveserver2</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>node3,node4,node5</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node2</value>
    <description>zk返回给beeline连接的HiveServer2服务器地址，每台HiveServer2 HA都需要修改</description>
  </property>
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083,thrift://node2:9083</value>
  </property>
</configuration>
deepDSM
关注
专栏目录
Hive高可用性部署及管理
程序员光剑
09-15 1100
随着企业对数据的需求越来越多、应用系统复杂度越来越高、数据量越来越大、业务规模越来越大、成本逐渐上升，传统数据仓库技术的部署越来越依赖于集群架构和资源，但同时也越来越受到“单点故障”、“脑裂”、“主备失效”等问题的困扰。Hadoop生态圈提供了一个比较完善的分布式计算框架，在实现数据分析、机器学习等场景中发挥着不可替代的作用。Hive作为Hadoop生态中非常重要的一部分，不仅可以用来进行复杂的数据查询，还可以通过MapReduce或者Spark等计算引擎将查询结果集转化为可视化、报表等形式。
Hive高可用搭建
weixin_59295776的博客
03-21 486
为提升hive可用性，提升集群稳定性。对已搭建好的hive进行高可用改造。没有搭建好hive的，请先移步搭建好hive，并且beeline测试连通，再参考本文。
HIVE HA高可用性及详细使用
05-26
HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用
Hive 高可用分布式部署详细步骤
最新发布
2301_81547508的博客
07-07 1228
hive高可用分布式部署详细教程
hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2
weixin_52918377的博客
04-20 2272
HiveServer2 高可用 修改配置hive-site.xml,增加一下内容 <property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property> <property> <name>hive.server2.zookeeper.namespace</
Hive 高可用搭建
keys_7的博客
02-01 274
Hive 高可用搭建节点配置文件hive-site.xml (node2)hive-site.xml (node3) 节点 NN-1 NN-2 DN ZK ZKFC JNN RS NM Hiveserver2 beeline node1 ✔️ ✔️ ✔️ ✔️ ✔️ node2 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ node3 ✔️ ✔️ ✔️ ✔️ ✔️ node4 ✔️ ✔️ ✔️ 配置文件 hive-site.xml (
Hive高可用配置
Leeyehong_self的专栏
03-31 5343
Hive 高可用 1. HiveServer2高可用及Metastore高可用 使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和port Metastore高可用原理： Hive Metastore客户端始终使用第一个url连接到metastore服务器，如果Metastore服务器变得无法访问，则客户端从列表中随机选取一个url并尝
【Hive部署搭建高可用集群 ha】
耀哥的博客
12-13 1568
Hive搭建 ha高可用集群Hive搭建 ha高可用集群第一步 修改hdfs-site.xml第二步 修改core-site.xml修改mapred-site.xml第四步 修改yarn-site.xml Hive搭建 ha高可用集群 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 第一步 修改hdfs-site.xml <configuration> <!--指
hdfs开启高可用+hive报错
02-29
### HDFS高可用机制与Hive兼容性问题详解 #### 一、背景介绍 Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，主要用于存储海量数据。随着业务需求的增长，单一NameNode节点已经无法满足大规模集群的高...
hive部署高可用集群-远程连接hive
Bigming
03-25 2976
主机名 ip地址 子网掩码 网关 DNS1 lwm101 192.168.21.101 255.255.255.0 192.168.21.2 8.8.8.8 lwm102 ...
【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建
12-04 1477
一、部署规划Hadoop3.*高可用集群部署参考：https://blog.csdn.net/forest_long/article/details/128157294二、部署版本三、集群规划hive远程模式 && hiveserver2高可用四、MySQL安装1、下载和解压https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz 2、环境配置 3、创建配置文件 初始化MYSQ
Hive笔记-001架构概述
cihuan7433的博客
11-30 258
因项目使用到Hive,在工作中阅读了许多文章和书籍,特此将笔记和自己的理解记录下来. 1.概述 Hive是最合适数据仓库应用程序的，其可以维护海量数据，而且可以对数据进行挖掘，然后形成意见和报告等。下图即是Hive与Hadoop交互的架构图： Hive的发行版本中附带的...
在一台服务器上搭建相对高可用HiveServer实践
网易数帆社区博客
09-06 460
本文来自网易云社区作者：刘杰问题及原因 组里之前搭建了一个hiveserver提供给猛犸上的ETL程序调用，hiveserver隔三差五地挂掉重启，网上查了些资料，也咨询了猛犸那边维护hiveserver周全同学，这是一个比较普遍的问题，原因基本上都是进程内存用爆引发的hiveserver奔溃，内存爆掉的原因大概有两个： hiveserver2会加载大量的元数据，元数据多了，内存就oom了连接hi...
hive配置高可用
fly0512的博客
12-12 1844
基于前面的基础部署 https://blog.csdn.net/fly0512/article/details/100863889 1、配置hive-site.xml及分发各节点 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configu...
大数据实操篇 No.5-Hive 高可用方式集群部署
pezynd的专栏
08-02 849
第1章 简介 Hive是一个工具，原理是mapreduce，可以让用户以sql的方式去做数据分析汇总。 第2章 安装 2.1 解压 $ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ 2.2 修改conf目录下配置 $ mv hive-env.sh.template hive-env.sh $ vi hive-env.sh 2.3 配置HADOOP_HOME路径 export HADOOP_HOME=/opt/module/
配置hive高可用
秋雨ヾ的博客
07-20 597
1.导入hive的tar包 2.解压hive的tar包 tar -xzf apache-hive-3.1.1-bin.tar.gz 3.配置hive 将conf/hive-env.sh.template复制为conf/hive-env.sh 修改conf/hive-env.sh里的HDOOP_HOME为 HADOOP_HOME= /data/hadoop/hadoop-3.2.1(haoop的地址) 4.配置conf/hive-site.xml ...
hiveserver2的配置和启动
热门推荐
leanaoo的博客
10-24 6万+
概览 1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件 3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml 利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件 其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/apache-...
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
hiliang521的博客
11-28 2756
【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值