hive取mysql数据oracle数据_hive元数据从mysql迁移到oracle

Source Code

Stop Hive MetaStore and Hive Server

sudo service hive-metastore stop

sudo service hive-server2 stop

Dump myql数据

执行脚本 ： sh mysql_export.sh，

导出结果文件为data2.sql

数据灌入Oracle

拷贝data2.sql文件到oracle导入目录，执行数据导入程序

sqlplus meta_store/paic1234@JZTEST @load.sql

修改hive metastore为oracle

/etc/hive/conf/ hive-site.xml

javax.jdo.option.ConnectionURL

jdbc:oracle:thin:@10.20.19.78:1521:jztest

the URL of the MySQL database

javax.jdo.option.ConnectionDriverName

oracle.jdbc.driver.OracleDriver

javax.jdo.option.ConnectionUserName

META_STORE

javax.jdo.option.ConnectionPassword

paic1234

Start Hive MetaStore and Hive Server

sudo service hive-metastore start

sudo service hive-server2 start

Database data check

mysql 数据查询

mysql -u hive -phive -h datanode3 –database=metastore -e “select ‘CDS’,COUNT(1) from CDS t UNION ALL

select ‘SDS’,COUNT(1) from SDS t UNION ALL

select ‘TBLS’,COUNT(1) from TBLS t UNION ALL

select ‘PARTITIONS’,COUNT(1) from PARTITIONS t UNION ALL

select ‘FUNCS’,COUNT(1) from FUNCS t”

oracle数据查询

进入sqlplus，查询

select ‘CDS’,COUNT(1) from CDS t UNION ALL

select ‘SDS’,COUNT(1) from SDS t UNION ALL

select ‘TBLS’,COUNT(1) from TBLS t UNION ALL

select ‘PARTITIONS’,COUNT(1) from PARTITIONS t UNION ALL

select ‘FUNCS’,COUNT(1) from FUNCS t

Schema备注

HIVE-7018 在HIVE-7018中，mysql的schema中，TBLS表和PARTITIONS表的字段会有LINK_TARGET_ID NUMBERLINK_TARGET_ID NUMBER字段，hive没有使用这两个字段，这个在oracle等其他数据库的元数据库中没有，而且，后期mysql的元数据升级的时候会直接删除这两个字段。

https://github.com/apache/hive/blob/master/metastore/scripts/upgrade/mysql/021-HIVE-7018.mysql.sql

SDS表中字段 IS_STOREDASSUBDIRECTORIES NUMBER(1) NOT NULL CHECK (IS_STOREDASSUBDIRECTORIES IN (1,0))在表中顺序在mysql schema和oracle schema不同，在迁移数据的时候需要特殊处理。

说明

在迁移过程中，mysql metastore会停止，dba如果支持的话，是否可以考虑设置为只读模式。

数据导入Oracle的过程还是很慢，使用了Append，Nologging，PL/SQL等技术优化，看dba支持吧。