hive元数据存储在mysql中,Hive如何将元数据存储到MySQL

1,Hive默认的数据库存储位置

Hive的元数据存储默认是用Derby数据库存储的,之前遇到过,当退出后，切换到不同的目录来进入hive，发现库和表没有了，是因为，第一次从bin目录进入hive,会在bin目录下创建一个metastore.db目录，在这个目录下，创建一个derby.log文件来存储

元数据信息。这个元数据信息是基于bin目录来创建的。而切换到其他目录进入hive时，查询时不是基于bin目录来查询的，所有查不到元数据信息，导致查不到。这个问题是derby数据库本身的问题，所以，我们不能用derby数据库，此外，用derby数据库，也不支持并发，比如一个人在操作hive，如果此时有其他人想用hive，用不了。所以我们选择用mysql数据库。

2,Hive如何修改将元数据存储到MySQL

下图取自hive.apache.org官方文档,绝对权威

image.png

按照上图的官方文档在hive-site.xml里面配置如下:

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/metadata_hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

hive

3,注意点

我们连接MySQL时候是不是需要ip,用户名,密码,端口,jar包

在配置完hive-site.xml时候,需要将MySQL的mysql-connector-java-5.1.49.jar放到hive的lib目录下,就可以了

image.png

Hive官方给出的是MySQL最少5.6.17以上版本,我生产上面用的都是5.7,另外不要追求新,用MySQL8,我尝试了一下,MySQL8和Hive1.x系列还是不能够兼容