hive 集群部署

最新推荐文章于 2024-04-19 16:02:30 发布
最新推荐文章于 2024-04-19 16:02:30 发布
阅读量475 收藏 6
点赞数 3
文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34304427/article/details/137472303
版权

1. 环境准备

准备三台主机：可以参考：linux-centos7 集群环境搭建

安装 hadoop：可以参考：hadoop3 完全分布式安装

2. 下载软件

点击下载

上传安装包到 /opt/software 目录

image-20231203005048748

3. 安装

3.1. 解压重命名

cd /opt/software
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/module
cd /opt/module
mv apache-hive-3.1.3-bin/ hive

3.2. 解决冲突

我们在启动项目时发下了下面的异常

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/module/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hive/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
2024-04-07 16:04:55,725 INFO  [main] conf.HiveConf (HiveConf.java:findConfigFile(187)) - Found configuration file file:/opt/module/hive/conf/hive-site.xml
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

从中我们可以看出第一个异常是 SLF4J 的冲突，存在多实现，因为 hive 依赖 hadoop，二者都有日志的实现，所以出现了冲突

我们只需要将 hive 中的相关 jar 去掉即可（这种情况下我们建议以底层的为准，所以建议修改上层的 hive）

hive 依赖包的位置：/opt/module/hive/lib

# 将冲突的依赖包改名
mv /opt/module/hive/lib/log4j-slf4j-impl-2.17.1.jar /opt/module/hive/lib/log4j-slf4j-impl-2.17.1.jar.bak

从中我们可以看出第二个异常是 google Guava 库中的一个类不存在导致，笔者这边看了 hive 依赖的是 guava-19.0.jar，而 guava-27.0-jre.jar，二者的版本差异很大，笔者这边选择 去掉 hive 的依赖，将 hadoop 的依赖拷贝的 hive 的 lib 目录

hadoop 依赖包的位置：/opt/module/hadoop/share/hadoop/common/lib

# 将冲突的依赖包改名
mv /opt/module/hive/lib/guava-19.0.jar /opt/module/hive/lib/guava-19.0.jar.bak

# 将 hadoop 使用的依赖拷贝到 hive 的依赖库中
cp /opt/module/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/hive/lib/

3.3. 内置 derby 初始化（测试）

初始化源数据库

cd /opt/module/hive
./bin/schematool -initSchema -dbType derby

初始化完成后生成下方目录

image-20231203010024505

启动客户端，进行操作

ps：启动 hive 时，如果我们启动的 hadoop 集群给的内存太小时，这里会内存溢出，建议给到 256 MB 以上

./bin/hive

# 执行一些语句
show databases;
show tables;
create table stu(id int, name string);
insert into stu(1, 'ss');
select * from stu;

3.4. 外置 mysql 初始化（推荐）

上传 mysql 的 jdbc 依赖包 到 lib 目录下

获取方式，可以直接在常用的 maven 本地仓库的 /mysql/mysql-connector-java 路径下获取

image-20231203223224336

查看是否上传成功

cd /opt/module/lib
ll

image-20240407154408842

添加数据库配置 vim ./conf/hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- mysql 数据库连接地址 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://mitchell-101:3306/hive</value>
    </property>
    
    <!-- mysql 数据库驱动 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <!-- mysql 数据库账号 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    
    <!-- mysql 数据库密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>920619</value>
    </property>    
    
    <!-- hive 数据的 hdfs 保存地址 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/hive/warehouse</value>
    </property>     

</configuration>

初始化数据库

./bin/schematool -dbType mysql -initSchema -verbose

ps：注意在初始化之前删除用 derby 产生的数据文件夹

3.5. 部署 hiveserver2

修改 hadoop 配置文件

cd /opt/module/hadoop-3.3.4/
vim etc/hadoop/core-site.xml

添加下方内容

<!-- 配置所有节点的 mitchell 用户都可以作为代理用户 -->
<property>
    <name>hadoop.proxyuser.mitchell.hosts</name>
    <value>*</value>
</property>

<!-- 配置 mitchell 用户能够代理的组为任意组 -->
<property>
    <name>hadoop.proxyuser.mitchell.groups</name>
    <value>*</value>
</property>

<!-- 配置 mitchell 用户能够代理用户为任意用户 -->
<property>
    <name>hadoop.proxyuser.mitchell.users</name>
    <value>*</value>
</property>

修改 hive 配置文件

cd /opt/module/hive
vim ./conf/hive-site.xml

添加下方内容

<!-- 指定 hiveserver2 连接的 host，可以配置为 0.0.0.0 -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>mitchell-101</value>
</property>

<!-- 指定 hiveserver2 连接的 端口 -->
<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>

<!-- 启用多用户 访问和修改 Hive 表 -->
<property>
    <name>hive.support.concurrency</name>
    <value>true</value>
</property>

<!-- 启用强制执行表分桶，可以提高某些查询性能 -->
<property>
    <name>hive.enforce.bucketing</name>
    <value>true</value>
</property>

<!-- 动态分区模式，nonstrict 表示只有在写入数据分区不存在时才会创建 -->
<property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
</property>

<!-- 数据库事务管理器，支持 ACID（Atomicity, Consistency, Isolation, Durability） 特性 -->
<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>

<!-- 启用 Hive 表压缩器的初始程序 -->
<property>
    <name>hive.compactor.initiator.on</name>
    <value>true</value>
</property>

<!-- 压缩器 占用的工作线程数 -->
<property>
    <name>hive.compactor.worker.threads</name>
    <value>1</value>
</property>

启动服务

# 前台启动
./bin/hiveserver2
# 后台启动
nohup ./bin/hiveserver2 1>/dev/null 2>&1 &

image-20231203230007316

3.6. 使用 beeline 连接

beeline 是 hive 内置的一个链接 hiveserver2 的程序

./bin/beeline

# 输入下方命令链接
beeline> !connect jdbc:hive2://mitchell-101:10000
Connecting to jdbc:hive2://mitchell-101:10000
Enter username for jdbc:hive2://mitchell-101:10000: mitchell
Enter password for jdbc:hive2://mitchell-101:10000: 密码可以忽略直接回车即可

image-20231203230614220

3.7. 使用 dbeaver 连接（推荐）

image-20231203231246026

3.8. 其他一些相关配置

# 主配置文件，当前配置文件已经过期，文件中的内容仅供参考
# 后续起作用的配置全部写在 hive-site.xml
mv ./conf/hive-default.xml.template ./conf/hive-default.xml
vim ./conf/hive-site.xml

# 启用日志配置文件
mv ./conf/hive-log4j2.properties.template ./conf/hive-log4j2.properties

4. 高可用，负载均衡

其实 hive 的性能主要是由 hadoop 的性能好坏决定，所以一般有三个实例保证服务能正常使用即可，

过多的实例对性能的提高不大，我们可以启动三个 hiveserver2 实例

并通过 nginx 的负载均衡策略将多个实例集中到一起

相关配置片段：

http {
	# 将全部实例集中到这里
    upstream hiveserver2 {
        server mitchell-101:10000;
        server mitchell-101:10000;
        server mitchell-101:10000;
    }

	# 监听端口，路由，将特定的请求转发给 hiveserver2 实例
    server {
        listen 80;
        server_name my.hive.com;

        location / {
            proxy_pass http://hiveserver2;
            proxy_http_version 1.1;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
    }
}
被遗忘的优雅
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive集群部署
gamespiay123的博客
08-08 1760
hive集群部署
hive安装和部署
m0_53400772的博客
05-18 625
将资料中的mysql-connector-java-5.1.47.jar 上传到 /opt/apps/hive-3.1.2/lib。而高版本的的hadoop的/opt/apps/hadoop-3.1.1/share/hadoop/common/lib。1>/dev/null：首先表示标准输出重定向到空设备文件，也就是不输出任何信息到终端，说白了就是不显示任何信息。1 ：表示stdout标准输出，系统默认值是1，所以">/dev/null"等同于"1>/dev/null"包括分布式存储、分布式计算。
Hadoop+Hive集群搭建步骤
03-13
VM虚拟机上，安装ubantu搭建hadoop+Hive集群，步骤详细。
大数据集群中部署Hive
weixin_73195042的博客
04-19 748
答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定，该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据，不启用，则Hivesever2会直接使用启动用户访问Hadoop集群数据。观察HDFS的路径/user/hive/warehouse/stu，体会Hive与Hadoop之间的关系。2）将MySQL的JDBC驱动拷贝到Hive的lib目录下。
[Hadoop高可用集群]数仓工具之Hive的安装部署（超级详细，适用于初学者）
喜欢水星记的博客
05-15 4737
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成，其设计可快速对 PB 级数据进行操作。
大数据开源框架环境搭建(六)——Hive完全分布式集群的安装部署
木子一个Lee的博客
02-18 2829
操作系统：Ubuntu 18.04Hadoop版本：3.1.3Hive版本：3.1.2JDK版本：1.8Mysql版本：5.7.4。
大数据学习03-Hive分布式集群部署
Java721的博客
07-18 679
本次实验中，Hive采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据。Hive常用的HiveQL操作命令主要包括：数据定义、数据操作。Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码，也可以完成MapReduce任务。
使用 docker 完成hadoop hbase hive集群部署，hbase+hive 数据同步.zip
最新发布
04-30
docker安装 docker安装方法有多种，下面列举在Windows和Linux系统中的安装步骤：12 Windows系统中的安装方法： 对于Windows Server系统，可以使用Microsoft发布的PowerShell模块DockerMicrosoftProvider来安装...
hadoop+zookeeper+hbase+hive集群安装配置
07-27
从零开始hadoop+zookeeper+hbase+hive集群安装搭建，内附详细配置、测试、常见error等图文，按照文档一步一步搭建肯定能成功。（最好用有道云打开笔记）
基于大数据集群的hive搭建
10-30
最完整hive搭建说明文档，完全傻瓜模式，下载后，仔细认真，一步步操作
大数据学习：Hive部署.pdf
12-07
"大数据学习：Hive部署" 在大数据学习中，Hive是一个非常重要的组件，那么如何部署Hive呢？这篇文章将带领大家一步一步完成Hive的部署，从搭建Linux操作系统开始，到部署JDK、Zookeeper、Hadoop和Hive，详细讲解每...
Hive集群部署启动Zookeeper&Hadoop&MySQL&Hive操作详细步骤
林世广
06-19 3585
Hive集群部署启动Zookeeper&Hadoop&MySQL&Hive操作详细步骤
Hive大数据项目环境搭建：安装部署Hive（超详细）
qq_58476985的博客
11-03 2019
（先保存一下hive3.1.2的路径：/home/hadoop/software/hive3.1.2，和hadoop-3.3.0的路径：/home/hadoop/software/hadoop-3.3.0。进入目录：/home/hadoop/software/hive3.1.2/conf，修改hive-env.sh.template名称为 hive-env.sh。把apache-hive-3.1.2-bin.tar.gz上传到linux的/home/hadoop/software目录下。
一篇文章教会你搭建Hive分布式集群
热门推荐
qq_25409421的博客
09-20 1万+
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。在大数据技术生态体系中扮演着重要的角色，今天我们就通过一篇文章来教会你如何搭建部署Hive分布式集群。
Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）
Huathy的博客
10-25 1272
Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。移动数据：数据 -> 计算程序移动计算：计算程序 -> 数据分布式计算：各个节点局部计算 -> 第二阶段汇总程序官方版本：Apache Hadoop，开源，集群安装维护比较麻烦第三方发行版：Cloudera Hadoop（CDH），商业收费，使用Cloudera Manager安装维护比较方便。
Hive搭建
luoyepiaoxue2014的博客
11-25 1767
Hive系列第二章
Hive3.1.3安装及部署
zhongmingyu
04-07 2254
目录1 下载地址2 安装部署2.1 安装Hive2.2 启动并使用Hive2.3 MySQL安装2.3.1 安装MySQL2.3.2 配置MySQL2.3.3 卸载MySQL说明2.4 配置Hive元数据存储到MySQL2.4.1 配置元数据到MySQL2.4.2 验证元数据是否配置成功2.4.3 查看MySQL中的元数据2.5 Hive服务部署2.5.1 hiveserver2服务 2.5.2 metastore服务2.5.3 编写Hive服务启动脚本（了解）配置环境：http://archive.apa
ambari部署hive
06-03
好的，我可以为您提供一些关于使用Ambari部署Hive的指导。 首先，您需要确保已经在Ambari中安装了Hadoop集群。然后，您可以按照以下步骤在Ambari中部署Hive： 1. 在Ambari中，选择“添加服务”并选择“Hive”。 2. 在“自定义服务”页面上，为Hive指定一个名称并选择要安装的主机。 3. 在“选择组件”页面上，选择要安装的Hive组件。通常情况下，您需要选择“Hive Metastore”和“HiveServer2”组件。 4. 在“配置”页面上，您需要设置Hive的一些配置参数。这包括Hive Metastore的数据库连接和HiveServer2的端口号等信息。如果您不确定如何配置这些参数，可以参考Hive的官方文档或者咨询相关的技术人员。 5. 完成配置后，您可以单击“预检查”按钮，以确保所有配置都正确。 6. 最后，单击“部署”按钮，以开始部署Hive。 部署完成后，您可以在Ambari中查看Hive的状态，并开始使用Hive进行数据处理分析。希望这些信息对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值