hive数据库存入mysql_Hive使用MySQL保存Metastore

Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库： 1)ingle User Mode： 此模式连接到一个 In-memory 的数据库 Derb

Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库：

1)ingle User Mode： 此模式连接到一个 In-memory 的数据库 Derby，一般用于 Unit Test。

2)Multi User Mode：通过网络连接到一个数据库中，是最经常使用到的模式。

3)Remote Server Mode：用于非 Java 客户端访问元数据库，在服务器端启动一个 MetaStoreServer，客户端利用 Thrift 协议通过 MetaStoreServer 访问元数据库。

Hive默认是采用Derby来存储其Meta信息的,

现在我们需要修改为mysql

1.在mysql专门为hive添加用户

mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'hivepasswd';

mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;

2.修改配置文件conf/hive-default.xml 中的配置

3.添加jdbc的jar包

wget ://mysql.he.net/

tar -xvzf mysql-connector-java-5.1.11.tar.gz

cp mysql-connector-java-5.1.11/*.jar /data/soft/hive/lib

4.启动hive

bin/hive

hive> show tables;

When using MySQL as a metastore I see the error "com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes".

* This is a known limitation of MySQL 5.0 and UTF8 databases. One option is to use another character set, such as 'latin1', which is known to work.

这个问题是因为hive对mysql的UTF-8编码方式有限制，，修改一下mysql的编码方式即可：alter database name character set latin1;

FAILED: Error in metadata: javax.jdo.JDOException: Couldnt obtain a new sequence (unique id) : Binary logging not possible. Message: Transaction level 'READ-COMMITTED' in InnoDB is not safe for binlog mode 'STATEMENT'

因为，READ-COMMITTED需要把bin-log以mixed方式来记录，用以下命令来修改：

set global binlog_format='MIXED';

本条技术文章来源于互联网，如果无意侵犯您的权益请点击此处反馈版权投诉

本文系统来源：php中文网