关闭

kettle excel

标签: kettle
345人阅读 评论(0) 收藏 举报
分类:

自己正在做一个关于数据预处理的东西,正在清洗数据,

1.解决

发现kettle4.x 中excel只能处理65536行数据,

如果想要修改的的话,就要设置一下


这样就能读取.xlsx格式,并且也能读取到一百多万行,暂时就没有那个问题了。

2.思路

如果一个文本文件中既有逗号分隔又有冒号,或者是什么别的分割,那么,我的做法是先把这些分隔换成统一的格式,

然后再变换到excel中进行实际操作。但是思路是简单的,可是执行起来就不一定会那么一帆风顺的了,我就是过程中

遇到了很多问题,像丢属性、参数什么的很常见,并且有的时候kettle还会没反应。。这些都是问题

好的思路还在思考中,希望各位谁有好的方法,思路能多多指导!


1
0
查看评论

利用kettle组件导入excel文件到数据库

一个实战的示例,利用kettle组件导入excel文件到数据库,然后通过java代码调用,完整有效,自由掌控。
  • neweastsun
  • neweastsun
  • 2014-11-14 10:27
  • 6708

使用kettle将数据从excel存入数据库

以MySQL数据库为例   首先使用Navicat客户端将需要转移数据的表的数据导出到excel中,确保导出的excel表包含标题。 也可以其他途径获取的excel。 启动Kettle后,选择Excel输入后如下图选择源excel文件 点击增加 继续选择字段的tab页,如下图点击获...
  • bestree007
  • bestree007
  • 2016-04-07 19:02
  • 2918

kettle之导出excel数据

20161017: kettle导出excel数据时,字段选择里 默认是按照文本的!!!这里类型改为 string 型,excel导出日期字段就正常了。 201610
  • kyng1988
  • kyng1988
  • 2016-10-17 19:15
  • 2280

kettle 使用excel模板导出数据

通过excel进行快速开发报表: 建设思路: 1.首先制订相关的execl模板。 2.通过etl工具(kettle)可以快速的 将数据库中的数据按excel模板导出成新的excel即可。 其中kettle 按excel模板导出excel 可以参考: http://type-exi...
  • chen978616649
  • chen978616649
  • 2014-05-08 21:40
  • 7486

示例学习kettle之Excel Writer步骤

通过示例学习Excel Writer步骤,简单一些,是根据模板生成excel报表的最佳方法。
  • neweastsun
  • neweastsun
  • 2014-09-16 17:33
  • 4039

kettle中Excel及脚本的使用

等了很久才更新第二章,实在是觉得其他的不是很复杂就没必要废话太多了。 这一篇是关于kettle中excel和脚本的使用的,直接上干货。 结构很简单主要说一下里边的配置。 excel输入: 文件标签页 第二个标签页下:工作表标签页     字段标签页下:  ...
  • androidwd
  • androidwd
  • 2015-01-12 17:26
  • 3432

kettle Excel模板

转载地址:http://type-exit.org/adventures-with-open-source-bi/2010/12/using-the-excel-writer-step/ Using the Excel Writer Step BY SLAWOMIR CHODNICKI,...
  • JimmySmith
  • JimmySmith
  • 2017-05-24 09:44
  • 654

kettle 正则表达式 批量 抽取Excel

kettle 正则表达式
  • xyj0808xyj
  • xyj0808xyj
  • 2016-02-29 23:38
  • 1985

【Kettle从零开始】第四弹之Kettle转换数据抽取使用

Kettle版本:3.2GA JDK版本:1.6.0_41 OS:NT 需求:需要把业务系统库、TXT文件、EXCEL文件中的数据抽取到数据仓库中。 1、  创建转换(Ctrl+N),转换名称为:RotKang_Test01 2、  创建数据源连接Rot_Sou...
  • yvigmmwfn
  • yvigmmwfn
  • 2014-03-10 23:52
  • 9532

kettle工具导出excel报错内存溢出的解决方法GC overhead limit exceeded

一般情况下,我们会执行这样的语句调用kjb $kettle_home/kitchen.sh -file=$file_path/tongji.kjb 在执行sh tongji.sh时,有时数据量不是很大,只有几万条就会报错 java.lang.OutOfMemoryError: GC ove...
  • cuiyan1982
  • cuiyan1982
  • 2015-10-29 15:22
  • 4213
    个人资料
    • 访问:53553次
    • 积分:603
    • 等级:
    • 排名:千里之外
    • 原创:19篇
    • 转载:2篇
    • 译文:0篇
    • 评论:3条
    文章分类
    最新评论