sqoop hive to mysql_使用Sqoop将MySql to Hive问题解决记录

使用Sqoop将MySql to Hive问题解决记录

1、Sqoop连接hive元问题

hive配置文件hive-site.xml 将hive.metastore.uris，value值设置为空。

hive.metastore.uris

2、Sqoop导入到hive

问题描述：

OOM错误(java.lang.OutOfMemoryError:Java heap space)

和

Container killed on request. Exit code is 143

Container exited with a non-zero exit code 143

调整hadoop配置mapred-site.xml 将mapreduce.map.java.opts和mapreduce.reduce.java.opts适当调整大小

mapreduce.map.java.opts

-Djava.net.preferIPv4Stack=true -Xmx1792m

mapreduce.reduce.java.opts

-Djava.net.preferIPv4Stack=true -Xmx2048m

3、derby jar包问题

问题描述：

Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40

将derby jar包注释，留derby-10.11.1.1.jar

mv derby-10.13.1.1.jar derby-10.13.1.1.jar.bak

mv derby-10.5.3.0_1.jar derby-10.5.3.0_1.jar.bak

mv derby-10.14.