Sqoop
雷禄辉
交流治愈愚拙,分享使人进步。
展开
-
大数据离线数据采集(sqoop)
拉取数据开源框架目前挺多的,本文主要讲述如何使用sqoop来拉取数据。sqoop当时是专门为了hadoop而来的,所以和hadoop结合比较好,sqoop常用是从mysql或者oracle数据库拉取数据到hadoop,接下来说明如何从这两者采集数据到hive中。sqoop从mysql采集到hivesqoop import --hive-import \ #指定导入到hive表 --connect jdbc:mysql://10.10.26.22:3306/xxsc \ #mysq原创 2022-02-19 17:07:15 · 2912 阅读 · 0 评论 -
sqoop导入数据到hive为空的解决办法
说下我当时遇到的情况,我在使用sqoop从mysql导入数据到hive,之前都是正常的,突然某一天发现一个字段导入到hive时为空,但是mysql是有值的,仔细观察发现这个字段类型有点特殊,特殊在哪里呢,他是tinyint(1),这种类型是比较少见的接下来直接说解决办法:在sqoop连接mysql的url中加上tinyInt1isBit=false,完整的url示例:jdbc:mysql://localhost/test?tinyInt1isBit=false解释一下加这个得含义,默认sqo原创 2021-09-29 20:48:56 · 1372 阅读 · 0 评论 -
解决sqoop导入hive表失败问题
用sqoop从关系型数据库(mysql、oracle)将数据导入hive时,当同时导入多个不同数据库,同名表时,需要指定--target-dir参数,不然会导致任务失败,因为sqoop导入数据时,默认会在hdfs上根据表名创建一个临时目录,这样相同表名在hdfs上的路径就冲突了。因此这种情况下需要指定临时存放数据目录或路径,方式一:指定临时目录,--target-dir dbName_tableName比如hive用户,当导入数据时会在hdfs上创建/user/hive/dbName_t原创 2021-01-26 19:35:00 · 2212 阅读 · 0 评论