Sqoop使用总结——导入数据到大数据集群import

这篇博客详细介绍了如何使用 Sqoop 将数据从 RDBMS(例如 MySQL)导入到大数据集群的 HDFS、Hive 和 Hbase 中。内容包括每种操作的步骤、命令示例以及可能遇到的问题和解决方法,是 Sqoop 实战操作的总结。
摘要由CSDN通过智能技术生成

目录

 

RDBMS到HDFS

RDBMS到Hive

RDBMS到Hbase


RDBMSHDFS

1) 确定Mysql服务开启正常

2) 在Mysql中新建一张表并插入一些数据

$ mysql -uroot -proot

mysql> create database company;

mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));

mysql> insert into company.staff(name, sex) values('Thomas', 'Male');

mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

3) 导入数据

 

其中有报错信息与解决,在报错import报错中有例子

 

1)全部导入

$ bin/sqoop import \

--connect jdbc:mysql://hadoop000:3306/company \

--username root \

--password root \

--table staff \

--target-dir /user/company \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t"

 

delete-target-dir:该文件如果有的话就删除

导入成功图:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值