利用kettle解决excel数据量过大卡顿问题

  1. excel输入

excel输入可以有两种方式①是csv;②是xls。由于xls的行数不够,所以我一般用的csv输入

需要注意的点是:

①:注意数据输入的长度和格式,例如:日期格式·百分率·数据类型等等
2. 两个excel数据重合

①:要想两个excel根据一定的主键将数据组合在一起就需要用到kettle的“排序记录”“记录集连接”

在这里插入图片描述

在这里插入图片描述

需要注意的是:
a. 两个excel都要接排序记录,并且排序的字段也就是两个excel相关联的主键,顺序须选择一致,也就是升序或者降序

b. 关于记录集中匹配模式含义:

left outer:保留左边主键去匹配右边,删除右边剩下的

right outer:保留右边主键去匹配左边,删除左边剩下的

inner outer:保留主键相同部分

full outer:全部留下,如果左右两边主键没有的,就以null值填充

3. 删除字段和修改字段名字

kettle的“字段”组件可以实现这个功能,但需要注意的是如果选择“选择

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值