hive2.3.2+mysql5.7.21驱动包_2018-08-30期 Hive外部元数据库配置

最新推荐文章于 2023-03-12 21:25:11 发布
最新推荐文章于 2023-03-12 21:25:11 发布
阅读量334 收藏
点赞数
文章标签： hive2.3.2+mysql5.7.21驱动包
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30058099/article/details/114174579
版权

一、说明

Hive默认情况下使用derby作为元数据库，derby元数据库只允许单连接，如果两个会话在相同目录去连接hive，会导致第二个连上的用户做相同操作报错，如下图：

A用户连接到hive，并创建一个表，创建完成后只需show tables操作

[root@hadoop-server01 hive-0.12.0-bin]# bin/hive

hive> create table t_user(id int,name string) row format delimited fields terminated by ',';

hive> show tables;

OK

t_user

可以看出该会话正常输出用户表t_user

B用户在相同目录连接到hive，并执行show tables操作

[root@hadoop-server01 hive-0.12.0-bin]# bin/hive

hive> show tables;

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException:Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

报错，不能实例化HiveMetaStoreClient客户端

C用户在另外的目录连接hive，并只需show tables操作

[root@hadoop-server01 tmp]# pwd

/tmp

[root@hadoop-server01 tmp]# /usr/local/apps/hive-0.12.0-bin/bin/hive

hive> show tables;

OK

Time taken: 3.371 seconds

可以看出，C用户可以正常连接hive并只需show tables操作，但是C用户执行结果和A用户完全不一样，看到的信息完全不一样

原因在于如果使用hive自带的derby元数据库，则每个用户连接hive时都会在当前目录维护一个metastore_db，每个hive连接客户端都会将自己产生的信息存放到自己目录下的metastore_db，这就导致了不同客户端连接看到的信息不一致。这种情况下需要使用外部数据库作为其元数据库可以解决此问题

[root@hadoop-server01 tmp]# ll

drwxr-xr-x. 2 root   root   4096 Jul  8 23:45 hsperfdata_root

drwxr-xr-x. 5 root   root   4096 Jul  8 23:44 metastore_db

drwx------. 2 gdm    gdm    4096 Jul  8 18:22 orbit-gdm

[root@hadoop-server01 tmp]#

二、Hive外部元数据库配置

这里使用mysql数据库作为hive的外部元数据库，因此在进行hive元数据库连接配置前需要安装mysql数据库

1、安装mysql

安装介质：

[root@hadoop-server03 mysql]# ll

total 910036

-rw-r--r--. 1 root root 461608960 Sep  8  2016 mysql-5.7.15-1.el6.x86_64.rpm-bundle.tar

-rw-r--r--. 1 root root  23848332 Aug 25  2016 mysql-community-client-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root    335156 Aug 25  2016 mysql-community-common-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root   3738016 Aug 25  2016 mysql-community-devel-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root  39068680 Aug 25  2016 mysql-community-embedded-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root 134926080 Aug 25  2016 mysql-community-embedded-devel-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root   2174796 Aug 25  2016 mysql-community-libs-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root   1722992 Aug 25  2016 mysql-community-libs-compat-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root 150695776 Aug 25  2016 mysql-community-server-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root 105088968 Aug 25  2016 mysql-community-test-5.7.15-1.el6.x86_64.rpm

-rw-r--r--. 1 root root   8652406 Nov  1  2016 mysql-connector-java-5.0.8.tar.gz

开始安装：

[root@hadoop-server03 mysql]# rpm -ivh *.rpm --force --nodeps

Preparing...                ########################################### [100%]

1:mysql-community-common ########################################### [ 11%]

2:mysql-community-libs   ########################################### [ 22%]

3:mysql-community-client ########################################### [ 33%]

4:mysql-community-server ########################################### [ 44%]

5:mysql-community-devel  ########################################### [ 56%]

6:mysql-community-embedde########################################### [ 67%]

7:mysql-community-embedde########################################### [ 78%]

8:mysql-community-test   ########################################### [ 89%]

9:mysql-community-libs-co########################################### [100%]

备注：我这里由于已经安装了所有的依赖包，所以使用了--force --nodeps选项，不推荐使用这一的方法安装，建议在安装前把所有的依赖包都安装全了之后再执行mysql的安装。

启动mysql数据库

[root@hadoop-server03 mysql]# service mysqld start

Initializing MySQL database:                               [  OK  ]

Installing validate password plugin:                       [  OK  ]

Starting mysqld:                                           [  OK  ]

为此mysql安装完成，这里我们创建一个hive账号来管理hive的元数据

mysql> create database hive;

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive#2018' WITH GRANT OPTION;

FLUSH PRIVILEGES;

为此存放hive元数据的数据库hive也创建完成，且允许远程连接。

2、修改hive配置文件

要使hive连接外部元数据库，只需要修改hive-site.xml即可

[root@hadoop-server01 conf]# cd /usr/local/apps/hive-0.12.0-bin/conf/

[root@hadoop-server01 conf]# vi hive-site.xml

javax.jdo.option.ConnectionURL

jdbc:mysql://hadoop-server03:3306/hive?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

hive#2018

只需要修改标红部分即可，也就是连接mysql数据库的信息

3、上传mysql jdbc连接驱动包

这里使用mysql-connector-java-5.0.8.tar.gz

将mysql-connector-java-5.0.8.tar.gz上传到hive的lib目录，上传后如下：

[root@hadoop-server01 lib]# ll mysql-connector-java-5.0.8-bin.jar

-rw-r--r--. 1 root root 540852 Nov 21  2016 mysql-connector-java-5.0.8-bin.jar

[root@hadoop-server01 lib]#

4、测试验证

在任意位置执行hive命令连接hive

A用户执行

hive> show tables;

OK

Time taken: 3.545 seconds

hive>

创建一个表

hive> create table t_test (id int,name string) row format delimited fields terminated by ',';

OK

Time taken: 0.225 seconds

hive>

hive> show tables;

OK

t_test

B用户在相同目录连接hive

hive> show tables;

OK

t_test

Time taken: 1.821 seconds, Fetched: 1 row(s)

B用户获取的内容同A用户相同

C用户在不同目录连接hive

hive> show tables;

OK

t_test

C用户在不同目录看到的信息同AB用户完全一致

因此使用外部的关系型数据库作为hive元数据后，可以解决hive使用默认的derby数据库存在问题，且保障了元数据存放的一致性。

查看hive数据库中存放的元数据记录，通过查询得知hive的元数据建表信息主要存放在TBLS表中，如下图：

mysql> desc TBLS

-> ;

+--------------------+--------------+------+-----+---------+-------+

| Field              | Type         | Null | Key | Default | Extra |

+--------------------+--------------+------+-----+---------+-------+

| TBL_ID             | bigint(20)   | NO   | PRI | NULL    |       |

| CREATE_TIME        | int(11)      | NO   |     | NULL    |       |

| DB_ID              | bigint(20)   | YES  | MUL | NULL    |       |

| LAST_ACCESS_TIME   | int(11)      | NO   |     | NULL    |       |

| OWNER              | varchar(767) | YES  |     | NULL    |       |

| RETENTION          | int(11)      | NO   |     | NULL    |       |

| SD_ID              | bigint(20)   | YES  | MUL | NULL    |       |

| TBL_NAME           | varchar(128) | YES  | MUL | NULL    |       |

| TBL_TYPE           | varchar(128) | YES  |     | NULL    |       |

| VIEW_EXPANDED_TEXT | mediumtext   | YES  |     | NULL    |       |

| VIEW_ORIGINAL_TEXT | mediumtext   | YES  |     | NULL    |       |

+--------------------+--------------+------+-----+---------+-------+

11 rows in set (0.00 sec)

mysql>select TBL_ID,TBL_NAME,TBL_TYPE from TBLS;

+--------+----------+---------------+

| TBL_ID | TBL_NAME | TBL_TYPE      |

+--------+----------+---------------+

|      1 | t_test   | MANAGED_TABLE |

+--------+----------+---------------+

1 row in set (0.00 sec)

如果要删除hive在mysql中定义的表，可以通过mysql语句去删除，通过hive删除会报错。

hive> show tables;

OK

t_t

t_t1

t_t5

现在通过mysql删除t_t5表

mysql> delete from tbls where tbl_id = 3;

Query OK, 1 row affected (0.11 sec)

mysql> commit;

Query OK, 0 rows affected (0.00 sec)

hive> show tables;

OK

t_t

t_t1

现在t_t5表已经被删除

益盟操盘手
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive连接mysql驱动包_操作指南｜Power BI通过ODBC驱动连接Hive、ClickHouse数据库
weixin_35914648的博客
02-23 1116
Power BI，是由微软推出的一套商业智能(BI)应用，它支持连接本地、或数据库的数据源，挖掘数据中的信息，快速准确地生成可以交互的可视化报表，从而帮助业务经营决策。想要实现Power BI连接hive、clickhouse等数据库，需要安装一个ODBC驱动。ODBC(OpenDatabaseConnectivity，开放数据库互联)是有关数据库的一个组成部分，它建立了一组规范，并提供了一组对数...
hive安装及配置
weixin_45012397的博客
05-16 1733
通过这次体验我们发现,Hive底层的确是通过MapReduce执行引擎来处理数据的执行完一个MapReduce程序需要的时间不短.如果是小数据集，使用hive进行分析将得不偿失，延迟很高.如果是大数据集，使用hive进行分析，底层MapReduce分布式计算,才能体现效果.通过执行的日志我们发现,这条语句会转换为MR程序运行,执行时间很长.如果使用mysql的话是毫秒级别就可以执行完,但是使用hive会发现要执行很长时间.(本地MR大概要几秒,如果提交到Yarn上要几十秒);
hive安装
qq_47844519的博客
03-12 330
如果出现错误，请查看/etc/my.cnf文件中指定的错误log日志的文件:log- error=/var/log/mysqld.log。注意：卸载后/var/lib/mysql中的数据及/etc/my.cnf不会删除，如果确定没用后就手工删除。4.访问active的namenode，查看文件列表。5.表在hdfs也有对应的目录，但是目录下没有数据。7.在hadoop1中连接上mysql查看表中的数据。修改hive-site.xml。
Hive学习之路 （一）Hive初识
weixin_33704234的博客
04-03 395
Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 MapReduce 的用户很方便地利用 HQ...
centos下hive连接mysql驱动 ，mysql-connector-java-8.0.26-1.el7.noarch.
07-29
centos 下hive连接mysql驱动 ，mysql-connector-java-8.0.26-1.el7.noarch. 使用方法： 1.下载本rpm文件后，上传至你的服务器（虚拟机） 2. rpm -ivh mysql-connector-java-8.0.26-1.el7.noarch进行安装 3.安装完成...
TPC-H_on_Hive_2009-08-14.tar.gz
06-06
TPC-H_on_Hive_2009-08-14.tar.gz 是一个压缩包文件，其中包含了针对Hive的TPC-H测试工具。TPC-H是一个标准的决策支持系统（OLAP Online Analytical Processing）基准测试，主要用于评估大数据分析平台在处理复杂...
apache-hive-3.1.2+mysql-connector-java-5.1.32-bin.jar
09-26
在Hive中，我们通常会配置MySQL作为元数据存储，用来保存表信息、分区信息等元数据，因此这个驱动程序是搭建Hive环境的必要组件。 `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2的二进制发行版，包含了运行...
apache-hive-2.3.2-bin.tar.gz
08-08
3. **初始化 Metastore**：创建 MySQL 数据库并配置相应的表，然后运行 `schematool` 命令初始化元数据。 4. **启动 Hive**：运行 `hive` 或 `beeline`（Hive 的命令行客户端）命令启动服务。 5. **测试**：创建一...
hive驱动包hive-jdbc-uber-2.6.5.0-292.jar（用户客户端连接使用）
06-03
Hive JDBC驱动是Hive与各种数据库管理工具、应用程序之间建立连接的关键组件，使得用户可以通过标准的JDBC接口来访问和操作Hive中的数据。 标题中的"**hive-jdbc-uber-2.6.5.0-292.jar**"是一个Uber（也称为Shaded...
hive驱动压缩包.zip
06-16
在虚拟机Linux系统上面安装部署hive后，如果需要在Windows系统上的IntelliJ IDEA 2020.3.3中连接使用Linux系统上的hive需要用到的驱动程序。包含：hive-exec-2.3.9.jar 、hive-jdbc-2.3.9.jar、hive-service-2.3.9.jar
Hive2.x系列驱动，
07-06
既可以连接没有kerberos的hive也可以连接有kerberos的hive
hive-jdbc hive jdbc驱动
06-06
hive-jdbc
hive的jdbc连接驱动包
02-27
hive的jdbc连接，亲身试验可以使用，但有时还需要hive其他环境
hive jdbc驱动_Hive部署一hive安装
weixin_39572972的博客
12-01 2700
哈喽，同学们好，继上篇文章《Hadoop部署一Hadoop安装》，我们安装好了Hadoop。我们现在开始安装部署hive，开启hive之旅。一、下载安装包hive:hive官网：http://hive.apache.org/我这里用的hive版本下载地址：http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/mysql驱动：https...
Hive安装与配置及常见问题解决
qq_51691017的博客
10-14 1053
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。
第2章 Hive安装
三成的博客
09-13 1099
hive
HIVE建立jdbc连接所需要的驱动jar包
qq_43071444的博客
08-12 3961
直接下载，导入即可 链接：https://pan.baidu.com/s/1gAUBKajizkaxmeA_G7s26Q 提取码：lywe
mysqlDF.write.format("org.apache.hudi") .options(Map( TABLE_TYPE_OPT_KEY -> "MERGE_ON_READ", RECORDKEY_FIELD_OPT_KEY -> "id", PRECOMBINE_FIELD_OPT_KEY -> "timestamp", PARTITIONPATH_FIELD_OPT_KEY -> "date", KEYGENERATOR_CLASS_OPT_KEY -> "org.apache.hudi.keygen.NonpartitionedKeyGenerator", HIVE_SYNC_ENABLED_OPT_KEY -> "true", HIVE_DATABASE_OPT_KEY -> "default", HIVE_TABLE_OPT_KEY -> "hudi_table", HIVE_PARTITION_FIELDS_OPT_KEY -> "date", HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY -> "org.apache.hudi.hive.NonPartitionedExtractor", HIVE_STYLE_PARTITIONING_OPT_KEY -> "true", HIVE_ASSUME_DATE_PARTITION_OPT_KEY -> "false" )) .mode("append") .save("/path/to/hudi_table")每一句加上注释
最新发布
05-31
HIVE_SYNC_ENABLED_OPT_KEY -> "true", // 是否启用 Hive 元数据同步，这里是“true” HIVE_DATABASE_OPT_KEY -> "default", // Hive 数据库的名称，这里是“default” HIVE_TABLE_OPT_KEY -> "hudi_table", // ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值