kettle获取系统信息及输出

最新推荐文章于 2024-07-29 15:47:07 发布
最新推荐文章于 2024-07-29 15:47:07 发布
阅读量1.1w 收藏 1
点赞数
分类专栏： kettle 文章标签： kettle postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/drbing/article/details/50890948
版权
本文档介绍了如何使用Kettle转换从PostgreSQL数据库中选取特定字段大于或小于某个值的数据，将其输出到文本文件和数据库。在创建转换过程中，需要注意变量类型匹配、SQL语句中的条件替换以及处理text类型的数据库字段。在运行时，可能出现因数据类型不匹配导致的错误，解决方法是调整数据库字段类型或进行类型转换。
摘要由CSDN通过智能技术生成

实验任务：用kettle将postgreql中的数据，根据某个字段大于或小于某个值的数据输出到文本文件和数据库中。

1、首先建立转换，如图


获取系统信息中的变量如图


表输入中，连接的是postgresql，元数据如图


双击表输入得到test表，利用where语句中的？代替变量

最低0.47元/天 解锁文章
drbing
关注
专栏目录
获取系统信息
07-07
获取系统信息
[Kettle] 获取系统信息
Hudas的博客
11-20 801
本文主要讲解Kettle工具中的"获取系统信息"组件的相关知识点
【kettle输出里总是带着字段名或者变量名】
最新发布
noctis233的博客
07-29 244
kettle操作笔记
Kettle组件_获取系统信息
清平乐的技术专栏
11-14 2168
简介 通过获取系统信息控件，我们可以获取系统的时间、转换或者作业的开始结束时间（用于增量）、主机信息、上一个作业完成情况和命令行参数等。通过类型的选择可以选择多种类型，这里我们选择命令行参数。 数据准备 这里以MySQL为例，当然也可以Excel本地输入 -- ---------------------------- -- Table structure for saleorder -- ---------------------------- DROP TABLE IF EXISTS `saleorder
Kettle使用_8 存储过程结合获取系统信息
数据科学汇集
01-19 564
Kettle使用_9 获取存储过程结合系统信息 需求: 通过传递给kettle位置参数的方式执行存储过程。其中存储过程的需求是往tb_user（字段user_id, name）里插入一条记录(覆盖式，即有则删除)。 解决方法：结合获取位置信息(设置参数名)和DB存储过程（指定数据库连接和参数）组件解决。 Step1:新建一个转换。 Step2: 拖动一个获取位置信息到转换里，该组件位于输入分类下。 Step3：配置获取系统信息组件（...
kettle案例10-获取系统信息
勇气与行动
10-26 1472
系统信息是指Kettle系统环境的信息，包括计算机系统的日期，星期等时间类型的信息，计算机名称、IP地址等设备信息，Kettle系统转换过程中的信息等。为方便读取计算机上到本月最后一天的交易数据问价，需要通过获取系统信息，获得当月最后一天的时间，以及当前计算机名称与IP地址等系统信息。 1.名称：表示字段名称 2.类型：表示获取系统信息的类型，单击输入框，弹出【选择数据类型】对话框，选中以下类型（因类型浅显易懂，且内容较多，只列出类型所属归类） ①时间类：包括现在、以前和...
kettle输出文本文件名设有系统时间组成的动态文件名.zip
12-28
在这个场景中，"kettle输出文本文件名设有系统时间组成的动态文件名"是一个典型的用例，涉及到如何利用Kettle在生成文本输出文件时，将当前系统时间嵌入到文件名中，从而创建动态、唯一的文件名。 首先，我们需要...
kettle批量插入hive2，解决表输出速度慢问题
05-08
在使用Kettle进行数据处理时，尤其是将数据从源系统传输到目标系统的过程中，如果目标系统是Hive2，则可能会遇到表输出速度极其缓慢的问题。根据描述，“kettle在表输出到星环inceptor数据库时，由于选择了DB连接...
kettle文本文件输出文件名为有系统时间组成的动态名
12-06
kettle文本文件输出文件名为有系统时间组成的动态名
Kettle手册
06-15
- 常见的转换步骤包括文本文件输入、表输入、获取系统信息、生成行等。 - 支持对文件进行反序列化和序列化，以及数据库查询和存储过程的调用。 - 提供了针对各种数据处理需求的特定步骤，例如字段选择、过滤记录...
kettle常见控件（输入、输出，字段选择、设置变量、记录集连接、值映射、字符串替换、js、Java）的使用案例
07-18
包括数据库迁移，增量抽取，多表合成一张表，一个字段拆分成多字段，数据正则过滤、kitchen部署调优等案例，内含相应数据库的SQL脚本、kjb、ktr文件，以及使用过程中会经常遇到的bug注意事项
kettle变量详解
01-15
kettle部署的时候使用,详细请查看上传的文件
Kettle循环获取结果集中的数据并传入转换里面
01-08
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换（t1.ktr）中的结果集，放到转换2（var.ktr）中，输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable(tables, prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
系统信息获取
sunow's club
10-18 812
欢迎大家转载，转载请注明出处，谢谢！ 知识准备 date：获取当前时间 /etc/issue：系统版本信息 /proc/loadavg：负载信息 df：获取磁盘信息 free：内存信息 /sys/class/thermal/thermal_zone0/temp：cpu温度 hostname：主机名 代码 #!/bin/bash # 现在时间 nowdate=`date +"%Y-...
kettle获取系统时间，设置变量，获取变量
一枚专心做大数据研发的摆烂程序员
07-29 7248
在kettle中通过正则表达式解析系统时间
BI: Kettle获取命令行参数和Java调用Kettle传递参数
小白编程
08-16 897
本示例旨在实现数据抽取，支持抽取指定ID的数据和全部数据功能，其中指定的ID通过Java传递。如下为Java调用本地的转换文件，其中String[] params就是参数，示例传递了两个参数：“123”， “234”，传递的参数全部是字符串类型，使用时需要转换成具体的格式： /** * 调用本地的转换文件（带参数） * * @Description: * @param tra...
获取变量（kettle）
m0_69235938的博客
10-26 2896
在Kettle中，获取变量可以获得系统环境变量和用户自定义变量的值。 某生产系统定时每天推送前两天的、名称格式为yyyyMMdd的数据文件，为了获得已设置好的日期变量并每天读取前两天的数据文件，需要使用获取变量组件，获取5.7小节中用户自定义的fileDate变量。
Kettle控件详解：输入输出、转换与脚本操作
"对kettle常用控件的总结，包括输入、输出、转换、流程和脚本等关键组件的功能介绍。" 在数据处理和ETL（提取、转换、加载）领域，Pentaho Data Integration（简称Kettle）是一个强大的工具，它提供了丰富的控件来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值