sqoop将postgresql表导入hive表

最新推荐文章于 2023-07-07 15:42:56 发布

空中的鱼1987

最新推荐文章于 2023-07-07 15:42:56 发布

阅读量3.6k

点赞数

分类专栏： sqoop

本文链接：https://blog.csdn.net/lookqlp/article/details/52096193

版权

本文介绍了使用sqoop将postgresql数据库的数据导入到hive的过程，包括直接导入、创建hive表、导入已创建的hive表和使用query导入的方法。在尝试在query中添加额外列时遇到问题，由于sqoop无法解析常量导致错误。解决此问题可能需要修改sqoop的源码。

摘要由CSDN通过智能技术生成

使用sqoop导入数据至hive常用语句

直接导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name--username user_name --table table_name --hive-import -m 5
内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将hdfs上数据传入hive表中
sqoop根据postgresql表创建hive表
sqoop create-hive-table --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-table hive_table_name( --hive-partition-key partition_name若需要分区则加入分区名称)
导入hive已经创建好的表中
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
使用query导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --query "select ,* from retail_tb_order where \$CONDITIONS" --hive-import -m 5 --hive-table hive_table_name (--hive-partition-