Kettle 将Oracle数据导入HBase的注意事项

      使用Kettle采集Oracle数据,导入到HBase。

      Kettle是一个比较好用的ETL工具,个人感觉Kettle比Sqoop还要好用,主要是因为Kettle通过可视化,组件式拖拉配置就可以实现数据提取,转换、写入。而Sqoop 的shell 命令行真是不好用,而且Sqoop 2还不支持将关系型数据库的数据导入到HBase中,现在只支持导入到Hadoop。

      Kettle将关系型数据库(这里指Oracle)的数据导入到HBase,有一些需要注意的事项:

      1)通过SQL语句检索数据时,需要在SQL中处理好日期格式,因为Kettle默认的时间格式为:2016/11/01 06:43:21.000;

      2)做数据映射时,都要将字段的类型转换为String,在这一点上,我吃过亏,由于我保留了原来的数据类型,比如Long,结果保存到HBase中,值变为16进制的数据,在取得数据后进行类型转换时报错:java.lang.IllegalArgumentException: offset (0) + length (4) exceed the capacity of the array: 1,所以这一点,比较重要。


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值