postgresql导入数据到hive

最新推荐文章于 2024-08-21 15:26:42 发布

lee_moonj

最新推荐文章于 2024-08-21 15:26:42 发布

阅读量3.1k

点赞数

分类专栏： postgresql hive 文章标签： postgresql hive 数据导入

本文链接：https://blog.csdn.net/IKnowNothinglee/article/details/90483834

版权

整张表导入

在linux环境中运行：

[root@dthost27 ~]# 
sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/pgsql_db 
--username user11 --password 123456 --table pgsql_table11 
--hive-import --hive-database hive_db --hive-table  hive_table11  
--map-column-hive reportinfo=string --map-column-java reportinfo=String 
--hive-overwrite --delete-target-dir --hive-drop-import-delims --hive-drop-import-delims --null-string '' --null-non-string '' -m5e

注意:
（1）jdbc:postgresql://192.168.xxx.xxx:5432/pgsql_db 指定了postgresql的地址和库名
（2）username–用户名；password–密码；table–指定该库中的某个表
（3）hive-database–指定hive中的库；hive-table–指定hive中的表，这个表允许未创建，命令执行时可自动创建
（4） --map-column-hive reportinfo=string --map-column-java reportinfo=String：这是因为要导入的pgsql表中有一个字段的类型为json，hive中没有对应类型，因此增加了参数–map-c