Sqoop_import数据导入

这篇博客详细介绍了如何使用Sqoop从MySQL数据库导入数据到HDFS以及Hive。内容包括全量导入、查询导入、指定列导入、条件导入,以及增量导入的append和lastmodified模式。在增量导入中,提到了append模式不支持直接导入到Hive,并解释了lastmodified模式需要timestamp字段作为依据。
摘要由CSDN通过智能技术生成

一、从RDBMS(mysql)中导入数据到hdfs
①全部导入(导入一个表中的数据)
在sqoop的安装目录下执行以下命令:

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/sqoop_test \
--username root \
--password 061111 \
--table staff \
--target-dir /user/sqoop \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

其中,–connect:表示连接的数据库地址(sqoop_test为数据库名)
–username和–password 表示要连接的数据库的用户名和密码
–table 表示想要导出数据的表
–target-dir 表示要导入到hdfs中的目录(如果不指定,默认存储在“/user/用户名/导入的表名” 目录下)
–delete-target-dir 表示如果在hdfs中有该目录,则先删除,然后再导入数据到该目录下
–num-mappers 表示设置的maptask个数,默认为4个,决定最终在hdfs中生成的文件个数(将table中的数据分成几个文件分别存储)

注意:两个命令--xxx之间要有个空格*


②查询导入(部分导入,导入sql执行后的结果)

bin/sqoop import 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值