KETTLE教程-初探

最新推荐文章于 2023-06-29 18:42:45 发布
置顶 最新推荐文章于 2023-06-29 18:42:45 发布
阅读量494 收藏
点赞数
分类专栏： 大数据 文章标签： KETTLE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JpHold/article/details/89294741
版权

KETTLE-初探

概念阐述

  1. ETL(Extract-Transform-Load)工具，即数据抽取、转换、装载。国内称为水壶
  2. 工作流程：将各种来源数据汇入到水壶中，进行数据处理，以特定格式输出到文件、数据库等装载容器
  3. 来自Borderfree的副总裁Warren Chang对Pentaho-KETTLE的评价：在业务中传递数据是一门艺术，而Pentaho将艺术转变成巨大的商业价值

优点

  • 直观的拖放设计，想拖什么就拖什么，然后组合在一起
  • 丰富的访问数据来源的组件，支持关系型数据库、非关系型数据库、大数据仓库、企业应用(如日志平台)等等
    • 关系型数据库-Relational database management system(RDBMS)：Oracle、IBM-DB2、MySQL、Miscrosoft SQL Server
    • 非关系型数据库和对象存储：MongoDB、Cassandra,HBase、Hitachi Content Platform
    • 分析型数据库：Vertica、Greenplum、Teradata、SAP HANA、Amazon Redshift、Google Big Query、Microsoft Azure SQL Data、Warehouse (DW)
    • 业务应用(猜测是获取大量数据的接口,如日志系统)：Salesforce、Google Analytics
    • Spark and Hadoop： Cloudera、Hortonworks、Amazon EMR、MapR、Microsoft Azure HDInsights
    • 非结构化数据：xml、json、excel、csv、txt、avro、parquet、orc、音频、视频等非结构化文件
  • 通过数据获取组件，快速获取、分析和装载大量数据，产出分析图表、直观分析结果或分析报告
  • 强大的组件组合能力，将一个个转换组合起来，完成功能，包括通知和警报
  • 完整的企业级调度系统，支持协调工作流程，拥有用于测试、优化作业执行的调试器
  • 丰富的数据分析、数据质量控制组件，去除不符合业务规则、冗余的数据、验证数据的标准性(如电子邮箱)
    • 如计数、数学函数、字符串处理、过滤、排序、正则验证等
  • 强大的管理功能
    • 共享存储库(转换和作业),开发人员、数据分析师、数据管理员进行协作
    • 版本管理,可以回退到某个版本的作业
    • 用户角色权限管理或集成第三方安全认证系统

流程介绍

有两个技术名词，Transformation(转换)和Job(作业)
转换可以包含多个转换、多个组件
作业可以包含多个转换、多个作业、多个组件

环境准备

  • JDK-1.8
  • Data Integration-6.1(最新为8.2Stable，Data Integration文件夹为历史版本，Pentaho 8.x文件夹为8以上版本)下载

工具结构

工具架构描述

版本更替

  • 待梳理
版本新增特性
KETTLE-8.2https://help.pentaho.com/Documentation/8.2/Whats_New
KETTLE-8.1https://help.pentaho.com/Documentation/8.1/Whats_New
KETTLE-8.0https://help.pentaho.com/Documentation/8.0/Whats_New
KETTLE-7.1https://help.pentaho.com/Documentation/7.1/Whats_New
KETTLE-7.0https://help.pentaho.com/Documentation/7.0/0C0
KETTLE-6.1https://help.pentaho.com/Documentation/6.1/0C0
KETTLE-6.0https://help.pentaho.com/Documentation/6.0/0C0
KETTLE-5.4https://help.pentaho.com/Documentation/5.4/0T0/040
KETTLE-5.3https://help.pentaho.com/Documentation/5.3/0T0/040
KETTLE-5.2https://help.pentaho.com/Documentation/5.2/0T0/040/005
KETTLE-5.1https://help.pentaho.com/Documentation/5.1/0T0/040/000

学习资料

buddx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
job kettle 执行多次_Spark基础：参数配置与推测执行
weixin_39552472的博客
12-20 225
往期链接：Spark基础：Spark SQL入门Spark基础：数据读写Spark基础：读写ParquetSpark基础：读写HiveSpark基础：读写JDBCSpark基础：Spark SQL优化Spark基础：分布式SQL查询引擎Spark基础：Hive特性兼容Spark基础：集群运行Spark基础：应用提交Spark基础：Spark on Yarn(上)Spark基础：Spark...
Kettle社区版，商业版，傲飞数据整合平台比较.pdf
08-27
Kettle社区版，商业版，傲飞数据整合平台比较.pdf
Kettle初级教程(入门级详细解析各个控件)
08-24
数据清洗工具Kettel的初级教程，入门级的分享给大家
史上最强Kettle培训教程.pdf
05-27
Kettle培训教程，适合初学者。
在Kettle(PDI)跑Apache Spark作业
08-10
NULL 博文链接：https://qq85609655.iteye.com/blog/2205156
kettle连接sparksql
weixin_46108337的博客
07-26 1063
kettle连接sparksql
Kettle与Hadoop（九）提交Spark作业
wzy0623的专栏
06-10 2247
实验目的： 配置Kettle向Spark集群提交作业。 实验环境： Spark History Server： 172.16.1.126 Spark Gateway： 172.16.1.124 172.16.1.125 172.16.1.126 172.16.1.127 PDI： 172.16.1.105 Hadoop版本：CDH 6.3.1 Spark版本：2.4.0-cdh6.3.1 PDI版本：8.3 Kettle连接CDH参见“https://wxy0327.blog.csdn.net/a
kettle
qq_39484734的博客
10-19 340
      ambari cloudera manager(cdh)   where col1 like 'abc%'   rowfilter适用场景 当从hbase中获取rowkey大于或者小于某个值的时候 rowkey中包含某个字符串的时候   where col1='3'   and col2 >33   or  col3 <123 ...
基于CentOS6的大数据开发环境部署-hadoop2.7-hive1.2-kettle6.0-spark2.3.4(一)
duyicd的专栏
05-14 520
教材1: 《Hadoop构建数据仓库实践》 作 者:王雪迎 著 定 价:89 出 版 社:清华大学出版社 出版日期:2017年07月01日 页 数:434 装 帧:平装 ISBN:9787302469803 教材2: 《Spark大数据分析与实战（大数据技术与应用丛书）》 商品参数 49.00 出版社:清华大学出版社 版次1-1 出版时间2019-08-26 开本16 作者:黑马程序员 页数228 ISBN编码9787302534327 此集群的原有配置...
Kettle9 连接SparkSql
ciqingloveless的博客
08-12 1068
前言 由于网上没有关于kettle连接sparksql的相关文章，而由于spark版本问题，造成spark中的hive依赖版本和hive的版本不同，这就造成了我连接了hive就没办法连接sparksql，所以编写以下文章帮助有同样问题的人 kettle连接sparksql 步骤很简单，将spark中的几个依赖包拷贝到data-integration\lib下即可，我下面列举几个需要的依赖包，其中有几个包在hive下spark下未找到 spark-hive-thriftserver_2.11-2.4.7.ja
Kettle 入门 教程
u014697639的博客
05-31 1938
（1） kettle 环境安装      kettle是一个开源的java编写的ETL（Extract,Transform and Load抽取、转换、载入）工具,ETL工具在数据仓库项目使用非常频繁，kettle也可以应用在以下一些场景： * 在不同应用或数据库质检整合数据  * 把数据库中的数据导出到文本文件  *大批量数据装载入数据库  * 数据清洗 * 集成应用相关项目是个使用。     ...
kettle6开发
01-16
Kettle6内置步骤开发
怎样利用kettle官方社区查找关于carte服务的设置
weixin_30920853的博客
05-02 76
原创作品，出自 “深蓝的blog” 博客，转载时请务必注明出处。否则有权追究版权法律责任。 深蓝的blog：http://blog.csdn.net/huangyanlong/article/details/46863223 利用Kettle社区查找资料：举例：查找关于carte服务的配置 搜索kettle。进入kettle社区。例如以下： 进入社区站点后。...
ETLCloud社区版与Kettle对比分析
渡江客涂鸦板
06-29 1759
ETLCloud为最新一代的数据集成平台，我们致力于打造一款集离线数据集成ETL、ELT、CDC实时数据集成、编排调度、数据服务API为一体的数据集成平台(DataOps)，一站式满足企业的各种最为复杂的数据集成场景。提供私有化部署能力和云原生架构，满足企业不同发展阶段的业务需求。 提供开放的组件市场,企业通过本平台可以快速构建大数据基础底座，同时快速打通ERP、MES、OA、SaaS、API、MQ、IOT等数据构建数据仓库.
Linux下kettle8.3服务器部署
baqidian的博客
11-10 3473
linux下配置kettle服务器
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
热门推荐
努力让自己发光，对的人才能迎着光而来
09-25 17万+
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
kettle 的 Rest Client 组件的使用方法！！
蛋蛋淡淡定的庄园
08-08 1万+
我用一个例子来说明Rest Client 的使用方法吧，其实kettle还有两个和Rest Client差不多的组件，http post 和 http Client 这两个都可以利用Rest Client来替代。下面来说说Rest Client 怎么使用： 我们通过Rest Client 模拟post请求案例： 首先双击Rest Client 可以看到如下 这样就完成了调用接口获取toke...
kettle 获取sap input RFC数据，同时写入mssql数据库
lin9901的博客
09-22 3534
kettle crypto-js
最新发布
05-31
Kettle Crypto-JS是一个JavaScript库，用于加密和解密数据。它支持许多常见的加密算法，例如AES、DES、TripleDES、RC4等等。这个库可以在Web浏览器和Node.js环境中使用。Kettle Crypto-JS是Pentaho Data Integration...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值