使用sqoop将greenplum数据全量导入hive和impala

1.链接数据库

a.链接greenplum
sqoop list-tables --connect jdbc:postgresql://192.168.11.1234:1232/bidata --username postgres --password 198301011
b.链接mysql
sqoop list-databases --connect jdbc:mysql://39.105.80.54/bi --username jump --password 123456789

2.导入hdfs及hive

sqoop import -m1 \ --------------------指定mr并行度
–connect jdbc:postgresql://192.168.11.11:1111/bidata \ —数据库的驱动
–username postgres --password 2345321· \ ---------用户名和密码
–table dwd_time \ ----------表名称
–hive-import \
–hive-table bi.dwd_time \ -------------hive库和表
–null-string ‘\N’ \ ---------------处理空字符
–null-non-string ‘\N’
–hive-drop-import-delims
–fields-terminated-by “\0001” \ -----------字段分隔符
–lines-terminated-by “\n” --------------行分隔符

3.刷新元数据

在这种情况下，使用impala查询需要刷新元数据，把元数据信息统计到impala元数据存储中，再做查询。

//重新加载所有库中的所有表
INVALIDATE METADATA
//重新加载指定的某个表
INVALIDATE METADATA [table]

4.附件

sqoop链接greenplum需要jar包，把jar包放在/opt/cloudera/parcels/CDH/lib/sqoop/lib目录下（我的版本是cdh3.6.1）
链接：https://pan.baidu.com/s/1E9AiFCAdziI3bmd6A2klLQ
提取码：n67m

5.遇到的bug

没有greenplum里面某张表的权限

解决办法
a.查找用户 select * from pg_user;
b.
//赋予所有表的所有权限给xiaoming
GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA public TO xiaoming;
//单独 赋予tuser表的所有权限给wechart用户
GRANT ALL PRIVILEGES ON tuser TO wechart;