sqoop导入hive相关操作

最新推荐文章于 2024-01-22 07:54:48 发布

Furys

最新推荐文章于 2024-01-22 07:54:48 发布

阅读量363

点赞数

文章标签： sqoop

本文链接：https://blog.csdn.net/new_Xxx/article/details/104760816

版权

本文详细介绍了如何使用sqoop从mysql全量导入数据到hive，包括单表导入、数据库整体导入、数据子集导入，以及增量导入的append和lastmodified两种模式。教程覆盖了不同场景下的sqoop操作步骤。

摘要由CSDN通过智能技术生成

1.全量导入mysql一张表数据到hive

1.1第一种方法先复制表结构后导入数据

#导入表结构
bin/sqoop create-hive-table \
--connect jdbc:mysql://node01:3306/test \
--table tmp \
--username root \
--password 123456 \
--hive-table test.ods_tmp

属性说明 :
create-hive-table : 指定操作 : 创建hive的表
--hive-table :  导入到hive的那个表中(注意: 建议 库名.表名, 否则会将表放置到默认的数据库中)

#导入表数据
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/test \
--username root \
--password 123456 \
--table tmp \
--hive-table test.ods_tmp \
--hive-import \
--m 1

属性说明: 
--hive-import : 标识为是hive的导入
import : 执行导入
--connect :   连接数据库地址
--username : 用户名
--password : 密码
--delete-target-dir :  如果--target-dir指定目录存在, 则先进行删除
--target-dir :