weixin_43230682的博客

1、现象：postgresql源表数据量：抽取到HDFS上和Hive之后数据量：2、原因：使用sqoop从pg库导出数据至HDFS或Hive时，如果数据中包含Hive指定的列分隔符，如”\001”或”\t”，那么在Hive中就会导致数据错位；如果数据中包含换行符”\n”，那么就会导致原先的一行数据，在Hive中变成了两行或多行数据，导致数据量增多。正常的：3、解决：在sqoop执行import导入命令时添加参数–hive-drop-import-delims，作用是在导入时从字符串字

目录一、常用命令列举二、命令&参数详解1、公用参数：数据库连接2、公用参数：import3、公用参数：export4、公用参数：hive5、命令&参数：import6、命令&参数：export7、命令&参数：codegen8、命令&参数：create-hive-table9、命令&参数：eval10、命令&参数：import-all-tables11、命令&参数：job12、命令&

目录一、概述二、Sqoop的工作机制三、Sqoop1与Sqoop2架构对比四、Sqoop安装部署五、Sqoop的数据导入1. 列举出所有的数据库2. 准备表数据3. 导入数据库表数据到HDFS4. 导入到HDFS指定目录5. 导入到HDFS指定目录并指定字段之间的分隔符6. 导入关系表到Hive7. 导入关系表到Hive并自动创建Hive表8. 将MySQL表数据导入到HBase当中去9. 导入表数据子集10. SQL语句查找导入HDFS11.