用sqoop将oracle数据导入Hive

最新推荐文章于 2024-04-15 10:19:04 发布

编程初丁

最新推荐文章于 2024-04-15 10:19:04 发布

阅读量1.6k

点赞数

分类专栏： sqoop 文章标签： sqoop Hive

本文链接：https://blog.csdn.net/u010842515/article/details/51150082

版权

本文介绍了如何使用sqoop将Oracle数据库的数据导入到Hive中，包括创建Hive表，全量导入数据，以及如何进行增量导入。在导入过程中，需要注意Hive对空值的处理与Sqoop的不同，需要进行适当的转换。提供了一个完整的sqoop导入命令示例。

摘要由CSDN通过智能技术生成

创建 hive 表

生成与关系数据库表的表结构对应的HIVE表：

$ sqoop create-hive-table --connect jdbc:mysql://192.168.56.121:3306/metastore --username hiveuser --password redhat --table TBLS

参数	说明
`--hive-home <dir>`	Hive的安装目录，可以通过该参数覆盖掉默认的hive目录
`--hive-overwrite`	覆盖掉在hive表中已经存在的数据
`--create-hive-table`	默认是false，如果目标表已经存在了，那么创建任务会失败
`--hive-table`	后面接要创建的hive表
`--table`	指定关系数据库表名

导入数据到 hive

执行下面的命令会将 mysql 中的数据导入到 hdfs 中，然后创建一个hive 表，最后再将 hdfs 上的文件移动到 hive 表的目录下面。

sqoop import --connect jdbc:oracle:thin:@219.216.110.120:1521:orcl --username TEST1 --password test1 --table TEST1 --fields-terminated-by '\t' --hive-import --hive-overwrite  --hive-table test1_test1

说明：