Sqoop到Hive数据迁移方案

最新推荐文章于 2023-06-20 10:02:37 发布

咖啡不加糖923

最新推荐文章于 2023-06-20 10:02:37 发布

阅读量1.1k

点赞数

分类专栏： hive 文章标签： hive sqoop

本文链接：https://blog.csdn.net/weixin_40991044/article/details/100115035

版权

本文详细介绍了如何使用Sqoop将Oracle数据迁移到Hive，包括手动创建Hive目标表，常规导入，增量导入的append和lastmodified模式，以及通过Sqoop Job进行定时调度的方法。特别强调了 Sqoop Job在增量导入和任务自动化中的便利性，并提到了使用密钥文件简化密码管理的策略。

摘要由CSDN通过智能技术生成

最近在项目中有个需求就是使用sqoop把数据迁移到hive中，以下是我做的一个总结。

数据集描述

Oracle源表（SQOOP_BITCOIN_DS）
在这里插入图片描述
Hive目标表（ods_sqoop_bitcoin_ds）

在这里插入图片描述

1.创建目标表

手动创建Hive目标表

由于Sqoop导入时自动创建表会自行推断字段类型，可能导致字段类型不准确，所有推荐使用手动创建
Hive目标表的形式来进行目标表创建

create table ods_sqoop_bitcoin_ds(
id int, timestamp_col string, open string, high int, low string, close string, volume_btc string, volume_currency string, weighted_price string
) row format delimited fields terminated by ','

Sqoop导入时建表