利用Sqoop将MySQL数据导入Hive中

初次写文章，之前都是学习别人写的东西，从今天开始学会记录、学会分享。

这段时间开始了Hadoop的学习，今天主要学习利用Sqoop从MySQL数据源向Hive中导入数据。

1.执行导入的操作命令：在Sqoop的安装目录下输入命令 bin/sqoop import --connect jdbc:mysql://数据库主机ip:3306/数据库名 --username root --P --table tablename --hive-import -m 1；

2.对命令及出现的问题说明：

（1）执行导入时，实际上在内部执行了三个步骤：

• • 第一步将数据导入hdfs，
  • 第二步创建hive表名相同的表，
  • 第三步将hdfs上数据传入hive表中

（2）最开始执行导入后，可在Hadoop下使用fs命令在HDFS中看见导入的数据，在Hive中使用“show tables;”没法看见对应的表，原因是之前执行导入的命令中，没有加入 “--hive-import”参数；

（3）Hive exited with status 1的问题：

报异常：hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError:  org.apache.thrift.EncodingUtils.setBit(BIZ)B。

解决办法：这是因为在同路径下安装了hive和hbase，而hbase和hive的lib目录下的thrift版本不同。hbase下的为libthrift-0.8.0.jar，hive下的为libthrift-0.9.0.jar。将Hbase下的0.8.0版的删除，换为0.9.0的即可。ps：不知为什么Sqoop向Hive中导入数据还有Hbase的事；

（4）Hive exited with status 64的问题：

报异常：“FAILED: SemanticException Line 2:17 Invalid path ''hdfs://10.144.101.126:9000/user/root/machineinfo'': source contains directory: hdfs://10.144.101.126:9000/user/root/***/_logs-00000

13/07/25 10:34:07 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 64

”。根据提示，存在一个log文件。

解决办法：经分析，原来在之前的导入中，虽然没有正确的将数据导入到Hive中，但在HDFS中形成了相应的中间文件，可先将之前HDFS中的相应的目录删除（bin/hadoop fs -rmr /user/root/***）,这个目录往往就是要导入的MySQL中的表名命名的目录。然后再使用Sqoop执行导入，会正确的在Hive中创建对应的表，且创建成功后，HDFS中创建的目录会被自动删除。看来这个目录只是中间形成的临时目录。

转载于:https://www.cnblogs.com/iPeng0564/p/3215055.html