Kettle
献 丑
这个作者很懒,什么都没留下…
展开
-
java.lang.NoClassDefFoundError: org/scannotation/AnnotationDB
web项目集成kettle报错缺少jar包<!-- https://mvnrepository.com/artifact/org.scannotation/scannotation --> <dependency> <groupId>org.scannotation</groupId> <artifactId>scannotation</artifactId>原创 2020-12-04 14:44:25 · 1565 阅读 · 0 评论 -
Kettle的变量传值
索引转换转换先给转换增加个命名参数,我这里是定义了个文件名文本文件输入设置这个变量命令行运行加上 -param参数即可,注意得加引号“-param:filename=C:\Users\Pinole5\Desktop\新建文本文档 (3).txt”动态文件名就ok了...原创 2020-11-27 17:05:20 · 517 阅读 · 0 评论 -
关于Kettle和webService的一个Demo,整整思路
索引自己写个webService服务端,让客户调用,客户调用后生成一个格式文件,再叫Kettle执行job,操作这个文件。webservice: @Override public void saveUser( User user) { //生成txt文件 FileUtil.test(user); //调用kettle String s = "cmd /c start D:\\pdi-ce-9.0.0.0-423\\data-in原创 2020-11-26 17:30:35 · 633 阅读 · 0 评论 -
kettle的调度监控平台
项目源码:https://github.com/zhaxiaodong9860/kettle-scheduler发布版本:https://pan.baidu.com/s/1DX2aCLlOIieHjuNcwn2_-w 提取码 提取码: 52r8不懂就要问,踩坑需谨慎,原文配置指导:链接,超级好用超级方便原创 2020-11-23 17:58:08 · 2249 阅读 · 2 评论 -
Kettle PDI后台执行定时任务
目录定时任务crontab定时任务1.写一个.sh脚本vim test.sh内容/opt/software/data-integration/kitchen.sh -dir=/ -rep=187a -user=admin -pass=123456 -job=1 -log=./logs/log.log -level=Detailed 2.加可执行权限chmod +x test.sh3.编辑定时任务crontab -e内容,表示1原创 2020-11-19 10:36:16 · 551 阅读 · 0 评论 -
Kettle PDI Linux安装运行
目录资源库乱码问题Linux安装资源库乱码问题官方回答:kettle连接数据库资源池时中文乱码Linux安装直接把zip ftp上传到centos7解压unzip pdi-.......把要用的驱动放进去把 .kettle也放进去原创 2020-11-16 12:33:37 · 342 阅读 · 0 评论 -
kettle PDI学习笔记(十三):作业
目录简介作业项作业跳例子简介大多数ETL项目都需要完成各种各样的维护工作。例如,怎么传送文件,验证数据库表是否存在,等等。这些操作都是按照一定顺序完成。因为转换以并行方式执行,就需要一个可以串行执行的作业来处理这些操作。一个作业包含一个或多个作业项,这些作业项以某种顺序执行。作业执行顺序由作业项之间的跳(job hop)和每个作业项的执行结果来决定。作业项作业跳例子先从Excel读取数据,保存到Excel,再从文本文件中读取数据保存到Excel,如果产生错误就发送邮件,并且停止作业,如原创 2020-11-10 11:10:26 · 353 阅读 · 0 评论 -
kettle PDI学习笔记(十二):脚本
目录javascript脚本Java代码执行SQL脚本javascript脚本脚本就是直接通过程序代码完成一些复杂的操作。例子:生成日期维度数据,有日期,年,月,日,从2000年1月1日开始有1000条数据,保存到Excel生成记录效果:1000行数据增加序列计算器字段选择移出datejs脚本最后输出即可Java代码执行SQL脚本...原创 2020-11-10 09:57:22 · 433 阅读 · 0 评论 -
kettle PDI学习笔记(十一):映射
目录映射映射映射用来定义子转换,便于封装和重用映射(子转换)是用来配置转换,对子转换进行调用的一个步骤,比如要在一个转换里边调用另一个转换,这时候就需要用到映射子转换映射输入规范是输入字段,由调用的转换输入。映射输出规范是向调用的转换输入所有列,不做任何处理。例子:从t_orders表获取数据,根据u_id查询t_users表,获取用户信息,存储到Excel。t_orders表t_users表...原创 2020-11-09 17:48:01 · 517 阅读 · 0 评论 -
kettle PDI学习笔记(十):统计
目录分组分组分组是按照某一个或某几个进行分组,同时可以将其余字段按照某种规则进行合并。分组之前也必须排序。Excel输入排序记录分组结果原创 2020-11-09 16:54:41 · 498 阅读 · 0 评论 -
kettle PDI学习笔记(九):连接
目录合并记录记录关联(笛卡尔输出)记录集连接合并记录合并记录是用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字进行匹配、比较、合并。Excel1Excel2合并记录结果记录关联(笛卡尔输出)Excel1Excel2结果记录集连接Excel1Excel2四种连接,字段都一样,连接类型不一样而已结果...原创 2020-11-09 16:41:51 · 400 阅读 · 0 评论 -
kettle PDI学习笔记(八):查询
目录HTTP client数据库查询数据库连接流查询HTTP clientHTTP client是使用get的方式提交请求,获取返回的页面内容。用这个接口可以得到一个xml:http://services.odata.org/V3/Northwind/Northwind.svc/Products/自定义常量HTTP clientGet data from xml/feed/entry/content/m:properties结果数据库查询就是左连接查询数据库连原创 2020-11-09 15:40:53 · 269 阅读 · 0 评论 -
kettle PDI学习笔记(七):流程
目录switch case过滤记录空操作(什么也不做)终止switch case结果:根据性别,数据分别放在了不同的地方过滤记录过滤记录像if else。就是判断name是否为空进行数据处理空非空空操作(什么也不做)没什么好解释的。。终止一般用中止校验数据。只要有数据流到中止,就报错提醒。...原创 2020-11-09 14:07:20 · 291 阅读 · 0 评论 -
kettle PDI学习笔记(六):应用
目录替换空值写日志替换空值源数据处理后写日志写日志主要在调试的时候使用,把日志信息打印到日志窗口。红框可以选择日志级别原创 2020-11-09 13:37:20 · 152 阅读 · 0 评论 -
kettle PDI学习笔记(五):转换
目录Concat fields值映射增加常量增加序列字段选择Concat fields从Excel获取FirstName和LastName连接起来,放到Excel框框这里是两个字段之间的连接符拼接后值映射值映射就是把字段的一个值映射成另一个值,比如数据库经常用0、1代表性别数据来自网上,并没有性别歧视,如有冒犯请联系我删除。增加常量增加常量就是在本身的数据流里添加一列数据,数据相同。这好像没啥用,肯定是我还没体会到它的应用场景增加序列能想到的假场景就是一炮子没有i原创 2020-11-09 13:08:57 · 622 阅读 · 0 评论 -
kettle PDI学习笔记(四):输出
目录Excel输出文本文件输出sql输出表输出更新插入更新删除Excel输出案例:从mysql输出到xls和xlsx拉出来表输入和两个输出并配置好表输入,让选择分发/复制,选择复制就好。Excel输出配置:选择文件、获取字段就ok了Microsoft Excel输出:扩展名改成xlsx就可以在下边红框打勾了,据说是速度更快,内容里获取字段即可运行,ok文本文件输出用数据库输出到文本文件,可以回到Excel输出,DB,右击,数据库共享,别的文本文件就不用新建数据库连接,可以直接使用了。(共原创 2020-11-08 11:42:08 · 296 阅读 · 0 评论 -
kettle PDI学习笔记(三):输入
目录CSV文件输入文本文件输入CSV文件输入上回快速入门了一下子,最后输出后,数据格式有点不对劲,源文件数据数字没有小数点,而输出后有了小数点。打开Excel输出,选择字段的格式,Integer类型的都在格式下拉框选择0就OK了。注意一下,更改的时候,要把输出的那个文件关掉,不然会报错文本文件输入准备个txtid;name;age1;zhangsan;222;lisi;213;wangwu;25新建转换、文本文件输入、Excel输出...原创 2020-11-07 22:41:35 · 457 阅读 · 0 评论 -
kettle PDI学习笔记(二):kettle快速上手
目录kettle的快速体验kettle的快速体验读取csv文件,写入到xls文件,这么个操作,读取的过程叫抽取(或者理解为输入),写入的过程叫加载(或者理解为输出)我这里找了一个cvs文件,改了一下凑活用回到软件,新建一个转换并保存点到核心对象,把csv文件输入拖到工作台双击打开工作台的那个控件,选择准备好的csv文件,可以根据红框框点一点看一看效果,差不多了就确定。在输出里找到Excel输出并拖过去,在工作台点下“csv文件输入”按下shift,再点到“Excel输出”,选择“主输出原创 2020-11-06 21:49:27 · 291 阅读 · 0 评论 -
kettle PDI学习笔记(一):kettle的介绍,下载,目录结构,部署
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件不慌,我也是刚听说这个词,一脑袋懵一、ETL什么是ETL?ETL是三个英文单词的缩写,即数据抽取、转换、装载的过程。对于企业或者行业应用来说,经常会遇到各种数据的处理,转换,迁移,所以掌握一种ETL工具的使用是必须的,Kettle就是ETL工具。二、Kettle简介1.Kettle是一款国外开源的ETL工具,纯Java编写的,绿色无需安装,数据抽取高效稳定。2.Kettle中文:水壶,作者希望把各种数据放到一原创 2020-11-06 20:14:48 · 789 阅读 · 1 评论