![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
文章平均质量分 83
YKenan
善待
展开
-
Kettle 输入步骤
Kettle 输入步骤1. 生成记录/自定义常量2. 获取系统信息3. 表输入4. 文本文件输入5. XML文件输入6. Json输入7. 其他输入步骤1. 生成记录/自定义常量2. 获取系统信息3. 表输入4. 文本文件输入5. XML文件输入6. Json输入7. 其他输入步骤...原创 2021-01-17 14:53:41 · 988 阅读 · 0 评论 -
Kettle 日志
Kettle 日志1. 文件日志2. 数据库日志2.1 转化数据库日志2.2 作业数据库日志1. 文件日志命令行的 /logfile 参数, 将日志导出到指定的文件中.Linux 管道符将屏幕输出转成日志.默认的日志文件保存在 java.io.tmpdir 目录下, 文件名类似 spoon_xxx.log.为便于调试, Spoon 里的有日志窗口, 内容和日志文件相同.内存中的日志太多, 可能会引起 OutOfMemory 的错误.Spoon 运行时设置日志缓存大小 Spoon原创 2021-01-14 21:27:38 · 7895 阅读 · 3 评论 -
Kettle 的运行方式
Kettle 的运行方式1. 图形: Spoon1.1 本地1.2 远程2. 命令行: Pan Kitchen3. API: Kettle Java API 嵌入到其它应用中1. 图形: SpoonKettle 图形运行方式的三种形式:本地: 在本地执行远程: 在远程服务器执行, 需要远程服务执行 Carte.2.1 Carte 是内嵌 Jetty 的 http server2.2 Carte 执行命令 carte localhost 8080集群: 在集群上执行, 需要转换里的某个步骤事原创 2021-01-14 14:53:31 · 2141 阅读 · 1 评论 -
ETL 资源库的基本使用
ETL 资源库1. 元数据2. 资源库2.1 数据资源库2.2 文件资源库3. Kettle 资源库使用3.1 Kettle 数据库资源库3.1.1 创建数据库资源库1. 元数据元数据的通用概念: “描述性数据” 或 “数据的数据”.ETL 的元数据: 描述 ETL 要执行的任务.在 Kettle 里元数据的存储方式:资源库: 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展XML文件: .ktr 转换文件的 XML 的根节点必须是 <tra原创 2021-01-11 21:13:04 · 473 阅读 · 0 评论 -
ETL 部署和简单的例子
ETL 部署和简单的例子1. ETL 部署2. ETL 简单例子1. ETL 部署先安装 Java 环境.开源的 ETL 工具: Kettle, kettle 使用 Java 编写的.中文官网: https://www.kettle.net.cn/下载路径: https://sourceforge.net/projects/pentaho/files/Pentaho%208.1/client-tools/下载 pdi-ce-8.1.0.0-365.zip 这个压缩包, 下载过程很慢.原创 2021-01-08 23:34:48 · 1479 阅读 · 0 评论 -
ETL 基础知识
ETL 基础知识1. 基础概念1.1 背景1.2 定义1.2.1 数据的抽取 (Extract)1.2.2 数据的清洗转换 (Cleaning、Transform)1.2.3 数据加载 (loading)1.3 常见的实现方式2. 模式介绍2.1 触发器模式2.2 增量字段2.3 全量同步2.4 日志比对2.5 模式对比3. ETL 日志, 警告发送3.1 ETL 日志3.2 警告发送4. ETL 工具4.1 为什么要使用 ETL 工具4.2 ETL 工具选择依据4.3 主流 ETL 工具推荐1. 基础原创 2021-01-08 17:55:48 · 852 阅读 · 1 评论