postgresql
lee_moonj
For Sharing
展开
-
sqoop import 导入到hive后数据量变多的问题
使用sqoop import 命令从postgresql导入数据到hive中,发现数据行数变多了,但是任务没有跑错,非常奇怪。导入语句为:sqoop import --connect jdbc:postgresql://*.*.*.*:5432/database_name --username name111 --password password111 --table table11...原创 2019-11-06 16:58:57 · 3110 阅读 · 2 评论 -
postgresql导入数据到hive
整张表导入在linux环境中运行:[root@dthost27 ~]# sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/pgsql_db --username user11 --password 123456 --table pgsql_table11 --hive-import --hive-database ...原创 2019-05-23 17:01:55 · 3055 阅读 · 0 评论 -
安装python依赖包psycopg2来调用postgresql
先安装psycopg2的依赖组件本案例的操作系统为linux red hat在安装python依赖包之前,需要先安装postgresql相关组件:[root@dthost27 ~]# yum install postgresql-devel(安装过程中会顺带安装上postgresql和postgresql-libs组件)可选组件:[root@dthost27 ~]# yum in...原创 2019-05-24 10:01:31 · 5589 阅读 · 0 评论 -
往hive导入查询数据全为NULL,但导入过程无报错,mysql/postgresql
今天导数遇到一个问题,通过sqoop import从 postgresql导数据到hive中后,发现查询出来全部都是空的:检查导入命令,没有错啊:[root@dthost25 ~]# sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/xxxxdb --username xxxx --password xxxxxxx ...原创 2019-06-06 12:19:43 · 4260 阅读 · 0 评论