sqoop导出parquet格式的hive表

sqoop导出parquet格式的表

结论1：sqoop导出parquet格式的表,必须指定hive的数据库与表名

遇到的问题1：

ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.DatasetNotFoundException: Descriptor location does not exist: hdfs://XXX/.metadata

原因：采用了传统的导出数据的方式

sqoop export \
--connect jdbc:mysql://hostname:3306/schema \
--driver com.mysql.jdbcDriver \
--username xxxx \
--password *** \
--table xxx \
--input-fields-terminated-by ',' \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--export-dir /apps/hive/warehouse/ods.db/xxx \
-m 1;

解决方法: 指定导出的hive数据库名称与表名，去掉hdfs路径

sqoop export \
--connect jdbc:mysql://hostname:3306/schema \
--driver com.mysql.jdbcDriver \
--username xxxx \
--password *** \
--table xxx \
--input-fields-terminated-by ',' \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--hcatalog-database itfdb \
--hcatalog-table test2 \
-m 1;

结论2：RDBMS中的列必须要能在hive中查到

遇到的问题:

我在RDBMS中建的表字段为 id，name，sex
但在hive中建的表的字段为 name,age,sex

原因：RDBMS中的id列在hive中并未找到

解决方法：将hive中的列名与RDBMS中的列名保持一致

将hive中建表字段改为 id,name,sex

结论3: 数据导出的匹配并不是按照字段顺序匹配的，而是按照字段名匹配的

结论4：hive中的字段可以比RDBMS中的字段多，但是必须包含RDBMS中的字段

那么问题来了，字段顺序不一致可以不？ 答案是可以的

hive中的字段可不可以比RDBMS多？ 答案也是可以的

证明如下：

我在RDBMS中建的表的字段顺序为：id，name，age
我在hive中建的表的字段顺序为：id，age，name，tt
并向hive中导入了一条数据 (1,2,3,4)

• 然后使用sqoop将 该 parquet格式存储的 hive表导出 到RDBMS，结果如下：

• 很明显可以看出，是按照字段名去匹配的值