Oracle环境使用kettle循环导出数据（生产测试）

最新推荐文章于 2024-06-11 17:22:40 发布
最新推荐文章于 2024-06-11 17:22:40 发布
阅读量455 收藏 1
点赞数
分类专栏： Oracle hadoop PostgreSQL 文章标签： oracle 运维 linux 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010438126/article/details/130845462
版权
Oracle 同时被 3 个专栏收录
50 篇文章 6 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
hadoop
29 篇文章 3 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
PostgreSQL
20 篇文章 0 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看

基本背景是客户经常需要导出31各省的数据到不同的Excel文件中，每个省都有若干个SQL文件，如果使用人工导出的话，工作量是巨大的。

所以结合实际情况，我给我们项目人员开发了使用kettle的job，就可以实现统一的，循环的导出，大大的减少了工作量。

步骤1、创建kjb总job

步骤2、获取变量 get_values

表输入

 

步骤3、创建导出数据的kjb文件

 

设置变量

 

数据输出到Excel

了解本专栏 订阅专栏 解锁全文 超级会员免费看
吾爱大数据
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Kettle实战100篇 第19篇 转换核心对象Microsoft Excel输出组件
八一菜刀的专栏
10-05 2557
我们在上面的实战系列中,多次用到了Excel作为输入或输出组件,该篇主要是针对官方英文文档做一个翻译说明,主要包括输入、输出、写入组件 Microsoft Excel 输出 英文地址:https://help.pentaho.com/Documentation/8.3/Products/Microsoft_Excel_Output Microsoft Excel输出步骤允许您将数据写入一个或...
kettle循环导出数据到excel生成多个sheet页
08-08
根据不同的省份生成多个execl,每个execl中根据不同的年份生成不同的sheet页
ETL工具之Kettle开发教程第二节-输出控件
Elcker
02-08 1060
输出控件是对经过kettle处理的数据进行向数据库，各种文件的输出。往往是kettle转换的结束部分，也就是加载部分。
kettle分批导出excel——kettle开发32
最新发布
java程序员的蜕变之路
06-11 240
假设有10条数据，一个sheet只能放6万，需要分两个excel导出。注意：输出的bb是string类型。
kettle循环导出数据到Excel中
05-24
kettle循环导出数据到Excel中。 也可以扩展到，循环处理逻辑或者循环处理作业
kettle实现数据迁移，通过kettle将MYSQL里面的数据传入输出到Excel表格中，超详细步骤。
m0_63318620的博客
11-15 3773
第一步： 打开安装包D:\kettle\data-integration里面的Spoon.bat文件，双击运行。 第二步：文件-新建-转换。 第三步：然后切入到核心对象，从输入中找表输入，然后把表输入拖到右边的空白转换中。 第四步：双击输入表，点新建。 第五步：填写连接名称（自定义），一般-Mysql-Native(JDBC),设置里面的信息依据自己MYSQL上的信息填写。 （！！！！！！！！！非常重要的一点一...
kettle循环抽取表数据.zip
11-10
标题中的“kettle循环抽取表数据”指的是使用Kettle（也称为Pentaho Data Integration，简称PDI）工具进行的一种数据处理方式。Kettle是一款强大的ETL（提取、转换、加载）工具，常用于大数据环境下的数据整合。在这...
Kettle工具将数据查询导出csv文件格式方法
01-20
在本文中，我们将深入探讨如何使用Kettle将数据查询结果导出为CSV（逗号分隔值）文件格式。 首先，我们需要创建一个新的转换。在Kettle环境中，点击“文件”菜单，然后选择“新建”->“转换”。这将打开一个空白的...
kettle 使用excel模板导出数据
05-08
Kettle提供了使用Excel模板导出数据的功能，这使得输出的数据格式更加规范和易于阅读。 首先，我们需要理解Kettle中的Transform（转换）。Transform是Kettle工作流程中的基本单元，用于处理数据流。在这个场景中，...
kettle 循环 oracle数据批量入Elasticsearch oracle循环导出数据文件 job循环
alen_en的博客
08-10 1035
**基本思路： 网上查了半天没有一个能实现的 根据部分网友文章得到的思路 先构造一个分页列表页，在按行执行这个分页计算数据 全图预览** 开始 测试执行一次 设置变量（提取到的变量，表名和pagesize 有修改 直接启动是改一下就可以了） 第一个转换：计算分页数量（其他项默认 只添加这2个变量） 新建一个转换 命名自定义 前面已经定义了pagesize 这步主要获取pagenum 通过oracle 表输入 获取总数 total ÷ pagesize 向上取整 = pagenum 这里第一次用需要
kettle循环导出数据到excel生成多个sheet页资源
蛋蛋淡淡定的庄园
07-09 2578
kettle循环导出数据到excel生成多个sheet页https://blog.csdn.net/weixin_43398232/article/details/90210815?from=singlemessage&isappinstalled=0 kettle根据自增id做增量加载 https://blog.csdn.net/weixin_43398232/article/detai...
Kettle循环导出整库数据
像豆芽一样优秀
08-11 1515
Kettle导出整库数据存入CSV文本中（导出其他文件格式同理） 一、流程图 二、执行流程 三、结果图 程序执行完后Excel文件存在配置的目录下，名字以数据库表名命名。 下图是 aa 模型表数据和 aa csv数据。 下图是 dddd 模型表数据和 dddd csv数据。 可以看出数据以想要的格式导出，后续我们来依次介绍每个组件。 四、各个组件解析 一、主作业：将获取表明和子作业的路径配置（并在子作业高级选项中选择对红框内容勾选✔） 二、获取表名：通过表输入将需要导出至CSV文件的表
Kettle实战100篇 第9篇 Mysql数据库数据导出到Excel
八一菜刀的专栏
10-04 2975
我们在第8篇的时候已经介绍了将Excel的数据导入到Mysql数据库中,那么,本章我们将介绍将数据从数据库导出到Excel中. 较少数据导出 我们数据库表数据如下图： 数据库中总共存在36条数据,这是数据比较少的情况 新建转换 我们选择 文件 -> 新建 ->转换 建立导出Excel的转换,输入转换名称然后保存 表输入 既然是从数据库表导出数据,所以我们的ETL的第...
kettle+report designer导出带样式的excel包含多个sheet页
weixin_43398232的博客
12-11 714
pentaho report designer报表设计器使用可参考，kettle生成带有样式的excel，PDF等可参考，kettle生成多个sheet页可以参考，多个sheet页合并成一个excel文件可参考。读者个人qq:420773639。这里是自定义开发了一个合并sheet页的jar包，使用时只需指定路径就可合并路径下所有excel的文件到一个文件中，具体使用方法如图。生成一条常量数据即可，包括报表设计文件路径及文件名，传入报表参数，生成excel的路径及文件名，这里也可建立配置表，在表中控制。
kettle进行多表循环合并内容后多数据作为变量输出到另外一张宽表
李指导的博客
08-09 9922
前言: 本章使用kettle将mysql 100 (例如: A1、A2-A99 这样递增 ) 张表合并到 另外一张宽表中。 目录 前言: 一: 总览 二: getTableName转换 2.1 生成记录 生成100条 表名固定的名称A 2.2 增加序列 0-99 2.3 使用concat fields 将100个表名A和0-99的数字拼接起来 2.4 字段选择 三 ...
Kettle操作数据库导出多Excel多Sheet
大耳根图图的博客
12-02 339
点击蓝色字关注我们！一个努力中的公众号长的好看的人都关注了前言Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行， 数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户...
kettle实例--数据迁移和装载-文本文件输出，SQL文件输出
fxxhmn的博客
10-28 1856
【文件名】设置为“E:\data\ 2020年1月_月考数学成绩”，其他参数采用默认值，此时完成【一般】选项卡的参数设置，如图所示。此处建议读者最好指定输出文件的目录和名称，如果没有指定目录，那么结果文件将输出到系统当前的目录中。（4）在【内容】选项卡中，【日期格式】设置为“yyyy-MM-dd”，如图所示，此时完成【SQL文件输出】组件参数的设置。在【SQL文件输出】对话框的【一般】选项卡中，设置参数，步骤如下。（3）点击文本文件输出控件，在文件名称设置导出表的位置。1 .建立【文本文件输出】转换工程。
etl kettle说明
heqinghua217的博客
04-19 415
先新建数据连接，然后 1、新建转换， 然后选择表输入（表输入中可以放入你的任何sql）， 2、表输出，选择你想要输入的表。表输入只能直接插入进去，可以选择更新/插入选项。可以根据某个字段做修改，如果字段数据不存在就插入。 3、表输入到表输出，需要有一根线连接，可以通过按住shirt ，然后鼠标从表输入指向表输出即可。 然后吧转换保存，保存之后，在kettle的bin目录下新建一...
"Kettle9.3环境部署与数据迁移实操操作手册
ETL工具Kettle 9.3环境部署数据迁移实操操作手册 Kettle是一款开源的、纯Java编写的、可以跨平台的ETL工具，不需要安装即可使用。它具有高效稳定的数据抽取功能，并且支持数据迁移。在本文中，我们将介绍Kettle 9.3...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吾爱大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值