Kettle实战(一)从Hbase导入数据至Mysql

一、连接Hadoop集群与MySQL
1、 下载当前集群的Hbase配置文件,首先你的有下载的权限。

在这里插入图片描述
2 解压改配置文件至cdh510目录下
在这里插入图片描述
3 修改D:\kettle\data-integration\plugins\pentaho-big-data-plugin下plugin.properties配置
在这里插入图片描述
4 在Kettle中配置Hadoop集群
在这里插入图片描述
在这里插入图片描述
在测试连接后会发现User Home Directory Access 和 Root Directory Access 是报错的,这个可能是因为我们是在非集群的一台主机上操作Hadoop数据,会导致没有权限向Hbase内写入数据,没有尝试出一个确切的解决方案,但是不影响读取Hbase数据,所以这里暂时不管它。(有知道解决办法的大佬的话,求指导~~)
5、 连接Mysql数据库
在这里插入图片描述
二、Kettle流程

1、 Hbase数据读取
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2、 行列变换

   由于Hbase不是关系型数据库,所以我们要将其字段进行行列变换,否则导出数据会如下图所示

在这里插入图片描述
选中核心对象——转换——列转行
在这里插入图片描述

这里推荐一篇博文,它的示例将列转行这个组件解释得很形象:https://www.cnblogs.com/OliverQin/p/5871330.html

然后对流中字段进行改名,改成与转出Mysql表对应的字段,PS:此处字段对应要准确
在这里插入图片描述
3、 表输出
将数据输出到目标Mysql表内
在这里插入图片描述
4、 运行结果
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值