1 ——kettle简介

最新推荐文章于 2024-08-05 21:31:41 发布
最新推荐文章于 2024-08-05 21:31:41 发布
阅读量207 收藏
点赞数
分类专栏： kettle学习 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46021446/article/details/123974633
版权

Kettle

· transformation

  • 完成针对数据的基础转换
  • 会一次性启动所有控件（一个控件对应一个线程，数据流会从第一个控件一条条流向最后的控件）
    E				T			 L
  数据输入——————》处理逻辑——————》输出数据

· job

  • 前一个步骤跑完才会进到下一个步骤
    在这里插入图片描述

1核心组件

1. spoon.bat/.sh 图形化界面
2. pan.bat/.sh 利用命令行的形式执行转换作业
4. kitchen.bat/.sh 可以使用命令行调用spoon写的作业
5. carte.bat/.sh

脱线YOYO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle入门教程
Benjamin
06-04 1万+
目录1.kettle叙述1.1什么是kettle1.2kettle工程存储方式1.3kettle两种设计1.4kettle的组成1.5kettle的下载安装2.kettle教程2.1转换2.1.1普通转换2.1.2执行sql脚本2.1.3条件判断Switch Case2.1.4自定义java代码2.2作业Kettle是一款开源的ETL(Extract-Transform-Load)工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。（1）以XML形式存储 （
异构数据的同步——kettle
08-05
标题中的“异构数据的同步——kettle”指的是在不同数据源之间进行数据迁移和集成的过程，而Kettle是一款强大的开源ETL（提取、转换、加载）工具，它专门用于处理这种异构数据同步的问题。Kettle，又称为Pentaho ...
你不知道的Kettle学习笔记1--Kettle详解
热门推荐
林世广
09-22 1万+
一、Kettle * Kettle是一款国外开源（免费：受欢迎）的ETL工具， * 纯Java编写（Java开发很好的集成），可以在windows、Linux、Unix上运行（Linux服务器流行时代下，Kettle更加受欢迎）， * 数据抽取高效稳定（更更加受欢迎）。 Kettle中文名俗称“水壶”，开发目的是将各种数据放到一个水壶中，然后经过各种处理加工，以特定的格式流出。 二、Ke
映射——kettle开发27
java程序员的蜕变之路
05-28 235
映射用来定义子转换，便于封装和重用。本次我们主要来讲解映射下面的三个子功能，分别为映射(子转换)、映射输入规范、映射输出规范。最终我们的转换由，表输入、映射(子转换)、Excel输出 映射输入规范、数据库查询、映射输出规范组成。users表的操作会经常用到，因此我们将u_id做成了映射(子转换)即可。操作起来也是相当的方便，我们只需要在组件里面选择我们需要的子转换即可。映射输入规范是输入字段，由调用的转换输入。，即我们在转换里面调用转换的时候可以用到。映射(子转换)是用来配置子转换，
分组——kettle开发26
java程序员的蜕变之路
05-28 313
分组是按照某一个或某几个进行分组，同时可以将其余字段按照某种规则进行合并，从字面意思来看，分组不但是分组而且还进行了合并操作。分组我们的主要需要注意的是，我们需要首先指定分组的字段，然后指定聚合后的新字段，如下图所示count就是按照group字段分组后，聚合的新字段。这里特别注意的是，我们排序的字段是我们分组的字段，因为只有这种排序才是有价值的，因此在本次任务中，我们排序的字段是group。对应的分组需要注意的是我们首先需进行排序，并指定分组字段，然后运行转换即可看到我们需要的结果。
设置参数——kettle开发33
java程序员的蜕变之路
06-12 457
定义方式是采用键=值对方式来定义,如：startdate=20230101，就说明我们定义了一个startdate的全局参数，对应值为20230101，需要注意的是配置全局变量时需要重启kettle才。通过作业我们就能让转换按顺序执行，作业包括作业项、作业跳，通过作业跳来控制作业项是无条件执行，还是当作业项执行结果为True时，怎么执行，为false时怎么执行。我们的实现过程包括，修改kettle.properties文件，使用变量STARTROW和PAGESIZE的值。参数分为两种：全局参数和局部参数。
Java脚本——kettle开发29
java程序员的蜕变之路
05-28 484
在java脚本里面我们通过点击，左边的Main函数来自动生成框架代码，然后我们通过在框架代码，根据提示的语法规则获取到code的值，当code为空或者为空字段值，我们获取name的值给它，否则就在code后面加上123，然后我们在最下面生成新的字段newcode来保持我们的数据，最后按提示语法编写输出语句，将数据流的输出结果赋值给newcode。和昨天所学的JavaScript脚本一致,java脚本也分为三个区域，分别是左边是代码的类和片段，右边是代码区、最下面是结果输出区，输出我们的字段等信息。
列转行——kettle开发13
java程序员的蜕变之路
05-27 425
其中EXCEL输入和之前一样选择输入的EXCEL表格位置，并获取字段，重点阐述列转行，首先指定关键字段即我们需要转换的数据列，在我们的任务中就是星期字段，然后就是我们分组的字段即姓名，需要注意的是我们生成的新字段，根据数据来，数据中是周一至周日因此我们的列转行新字段名也分别是周一至周日。需要注意的是列转行在转换前也需要进行排序操作，具体我们可以看到列转行主要包括关键字段即我们需要转换的字段，如星期，分组字段是我们相同的主字段，如姓名，目标字段是生成的字段名，数据字段是工作小时，即是目标字段的存储值。
设置参数——kettle开发39
java程序员的蜕变之路
06-12 371
如上图所示，字符串替换可以将字符串A变成字符串B，因此我们可以通过字符串替换的功能可以清除类似包含"਍"的数据等等。2、小案例字符串替换的时候如果我们是简单的讲A替换为B的话，我们只要选择需要替换的输入流字段，不使用正则表达式，搜索里面输入A，使用...替换，输入B即可，设置为空串为否等如下图所示即可。原始字段：替换后的结果如上图所示，我们成功将字符串,因为我们选了大小写不敏感，因为a也会被替换，因此我们需要根据自己的需要来选择对应的替换数据范围。
流查询——kettle开发22
java程序员的蜕变之路
05-27 319
我们接下来重点讲下流查询操作，需要注意的是因为我们要输出depname因此我们在流查询步骤选择时，我们选择departments，然后指定depid和id关联，最后输出我们的匹配dep_name。流查询的操作包括指定数据源，即我们将数据进行流查询的数据源头，如下图所示流查询的数据源是我们的Excel输入-departments，然后我们还需要指定我们进行流查询匹配的字段，即我们进行等值查询的字段，depid和id。最后我们指定我们需要返回的字段，即depname 来接收我们流查询的值。
kettle工具——用于数据迁移等
07-05
1. **图形化工作流设计**：Kettle提供了一个名为Spoon的可视化开发环境，用户可以通过拖拽方式创建、配置和连接各种数据转换步骤，使得复杂的ETL流程设计变得简单直观。 2. **广泛的数据源支持**：Kettle支持多种...
kettle学习（一）——认识kettle（附kettle安装包及驱动）-附件资源
03-05
kettle学习（一）——认识kettle（附kettle安装包及驱动）-附件资源
ETL 以及 KETTLE 简介
03-23
### ETL 以及 KETTLE 简介 #### 1. 什么是ETL ETL是指**数据抽取（Extract）、转换（Transform）、装载（Load）**的过程，它是构建数据仓库的重要环节。数据仓库是一种面向主题的、集成的、稳定的且随时间不断变化...
搭建高可用OpenStack（Queen版）集群（二）之部署控制节点高可用的管理支持服务
最新发布
happy_king_zi的博客
08-05 772
多个节点数据同步复制每个节点都是主节点，每个节点都有全部的数据每个节点都可以提供读写操作失效节点自动剔除，新节点加入自动同步（慎重，新节点加入会造成锁表）
数仓: 1- 数据仓库基础
Taerge0110的博客
08-02 880
数据仓库 ( Data Warehouse, 简称DW或DWH ) , 也称为企业数据仓库 ( EDW ) , 是一个用于报告和数据分析的系统, 被认为是商业智能的核心组成部分 ; 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合, 用于支持管理决策 ; ​ 它可以帮助企业整合来自不同数据源的数据, 并将其转换为易于理解和分析的格式 ;
PPO算法，即Proximal Policy Optimization（近端策略优化）.pdf
08-05
PPO算法，即Proximal Policy Optimization（近端策略优化），是一种在强化学习领域中广泛应用的策略梯度方法。由OpenAI在2017年提出，PPO旨在解决传统策略梯度方法中策略更新过大导致的训练不稳定问题。它通过引入限制策略更新范围的机制，在保证收敛性的同时提高了算法的稳定性和效率。 一、PPO算法简介 PPO算法的核心思想是通过优化一个特定的目标函数来更新策略，但在这个过程中严格限制策略变化的幅度。具体来说，PPO引入了裁剪（Clipping）和信赖域（Trust Region）的概念，以确保策略在更新过程中不会偏离太远，从而保持训练的稳定性。 二、PPO算法的主要变体 PPO算法主要有两种变体：裁剪版（Clipped PPO）和信赖域版（Adaptive KL Penalty PPO）。其中，裁剪版PPO更为常见，它通过裁剪概率比率来限制策略更新的幅度，而信赖域版PPO则使用KL散度作为约束条件，并通过自适应调整惩罚系数来保持策略的稳定更新。PPO算法，即Proximal Policy Optimization（近端策略优化），是一种在强化学习领域中广
GC032A datasheet（侵删）
08-05
GC032A datasheet（侵删）
opencv的概要介绍与分析
08-05
OpenCV (Open Source Computer Vision Library) 是一个开源的计算机视觉和机器学习软件库。它提供了大量的算法和函数，可用于图像处理、视频分析、特征检测、对象识别等多种应用。下面是一些关于 OpenCV 的资源描述，帮助您学习和使用这项强大的技术。 ### OpenCV 资源描述 #### 1. **官方文档和GitHub仓库** - **GitHub 仓库**：OpenCV 的官方 GitHub 仓库是获取最新代码、预训练模型、开发指南和示例代码的地方。这是了解 OpenCV 最新进展和功能的最佳起点。 - **官方文档**：OpenCV 的官方文档包含了详细的使用说明、API 参考和常见问题解答。 #### 2. **在线教程和课程** - **Codecademy**：Codecademy 提供了互动式的 OpenCV 课程，适合完全的新手。 - **freeCodeCamp**：freeCodeCamp 是一个非营利性组织，提供免费的编码课程，包括 OpenCV 基础。 #### 3. **书籍** - **《Learning
kettle——spoon 安装 使用
10-21
1. 下载Kettle安装包，可以从官网https://sourceforge.net/projects/pentaho/files/Data%20Integration/下载最新版本。 2. 解压安装包，进入解压后的目录，找到spoon.sh或spoon.bat文件，双击运行即可打开Spoon。 3....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值