sqoop适用的数据源_Sqoop的使用

本文介绍了如何使用Sqoop将Oracle数据库中的数据导入到HDFS。通过一个简单的示例,展示了创建表、插入数据、验证数据、使用Sqoop import命令以及关键参数的解释。此外,还讨论了性能分析、优化方案和Sqoop在数据一致性及NULL处理上的策略。
摘要由CSDN通过智能技术生成

Sqoop官网:

http://sqoop.apache.org/

*) Sqoop介绍

Sqoop用来在Hadoop和关系数据库中传递数据。通过sqoop,我们可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出到关系数据库。

参考链接:

http://blog.csdn.net/yfkiss/article/details/8700480

*) 简单的sample案例

目标: 把oracle中全表数据导入到hdfs文件系统中

1) 在Oracle中添加如下表:

CREATE TABLE tb_message

(

ID INT PRIMARY KEY,

MSGID INT,

MESSAGE VARCHAR(256)

);

2). 添加如下数据:

INSERT INTO tb_message(ID, MSGID, MESSAGE) VALUES(1, 1001, 'message 1');

INSERT INTO tb_message(ID, MSGID, MESSAGE) VALUES(2, 1002, 'message 2');

INSERT INTO tb_message(ID, MSGID, MESSAGE) VALUES(3, 1003, NULL);

3). 数据验证

SELECT * FROM tb_message;

IDMSGIDMESSAGE

---------- -------------------------------------

1 1001message 1

2 1002mess

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值