kettle
zcty2020
我就是我,不一样的烟火。
展开
-
Kettle8.2版本学习路线(史上最全,内附中文教程)
一、学习资源获取路径:https://edu.51cto.com/lecturer/8975332.html二、什么人适合学习kettle正在准备数据挖掘相关职位面试的同学 学习过ETL基础知识、但希望通过真正的行业项目,认识更高级的模型和实际应用的同学 对数据挖掘,大数据,BI应用有兴趣并希望以后从事该方面工作的同学 在实际工作中用到kettle工具,想更加深入学习kettle工具使用的同学三、学习kettle需要具备什么样的基础熟悉各种关系型数据库,并且具备一定的SQL编写能力 熟原创 2020-07-01 19:26:47 · 6590 阅读 · 0 评论 -
kettle入门教程:第一个kettle小例子
一、需求说明将源表(T_USER)中的用户信息抽取并且将性别进行转换后(由男女转换为0,1表示)装载到目标表(T_USER_T)中。这是源表、中间表和迁移后表的数据对比二、数据库说明 --源表 CREATETABLET_USER( FIDVARCHAR2(8), --ID F_NAMEVARCHAR2(32), --名称 F_SEX...原创 2020-06-28 16:24:06 · 1769 阅读 · 0 评论 -
Kettle安装及基本介绍(开山篇:用前必看)
一、何为ETL?ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。1.抽取(Extract)将数据从各种原始的业务系统中读取出来,以便为随后的步骤提供数据。2.转换(Transform)任何对数据的处理过程都是转换。这些处理过程通常包括(但不限于)下面一些操作:(1)数据清洗(过滤不完整的数据、错误的...原创 2020-06-24 10:45:08 · 1217 阅读 · 0 评论 -
KETTLE实现Hadoop文件数据抽取及输出(超详细,图文并茂)
一、需求说明将源表(T_USER)中的用户信息同步到Hadoop中,然后再抽取Hadoop文件中数据到文本文件中。二、启动kettle双击 Spoon.bat 就能启动 kettle 。三、创建转换Hadoop集群配置说明首先需要从hadoop集群中(/../hadoop-3.1.2/etc/hadoop)复制core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml文件到shim文件夹中(..\data-integration\原创 2020-06-21 15:17:55 · 4098 阅读 · 1 评论 -
KETTLE-调用WebService服务返回Json和xml数据
一、需求说明调用WebServcie服务将返回的Json数据解析并存储到文本文件中服务说明: 类型 值 说明 服务地址 http://localhost:28080/cxf?wsdl 方法名称 getJson 方法一入参 name String类型 ..原创 2020-06-21 14:54:53 · 5117 阅读 · 1 评论 -
kettle抽取excel 文件按指定模板输出并实现工作表保护
一、需求说明 读取T_USER表中数据输出到excel文件中,excel文件采用指定格式,并且对excel文件设置保护工作表,如果需要修改文件中内容需要输入密码。 数据输入模板如上所示,红色框中输入用户信息,并且设置保护单元格形式,这样如果不知道密码的话就无法更改单元格中数据,对数据起到保护作用。二、模板准备根据需求按照上面格式设置excel模板三、创建转换(oracle数据到excel文件)打开 kettle,点击 文件->新建->转换。在...原创 2020-06-19 15:57:48 · 2264 阅读 · 1 评论 -
Centos7环境下Kettle集群环境搭建和使用示例
Kettle的集群原理完全分布式即是在该集群环境中所有的kettle服务都是部署在不同的机器上,互相之间没有影响。此处以一个真实环境为例,来介绍kettle完全分布式环境的开发使用。生产环境中kettle服务器都是部署在linux服务器上,在windows本地开发好kettle任务,然后在linux集群环境上运行。完全分布式集群搭建环境规划该环境模拟一台主服务器,两台从服务器的方式。 名称 IP 端口 说明...原创 2020-06-19 16:24:12 · 1376 阅读 · 0 评论