使用kettle抽取数据

时隔几年，又用kettle完成数据的全量抽取。

一、Kettle简介

ETL简介

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），ETL流程是数据仓库建设的核心环节，它涉及从各种数据源中抽取数据，经过清洗、转换和整合，最终加载到数据仓库中以供分析和决策。对于开发或者运维人员来说，经常会遇到各种数据的处理、转换、迁移。

数据抽取（Extract）

  数据抽取是ETL流程的第一步，它涉及从各种数据源中提取数据，将数据从源系统中抽取出来，为后续的处理做准备。数据源可以是各种类型，总共分为结构化数据、半结构化数据以及非结构化数据，包括关系数据库、文件（如CSV、Excel、JSON等）、API、日志文件等。数据抽取在不同数据源结构的情况下可以分为以下几种方式：

• 结构化数据：从关系数据库、表格、CSV文件等结构化数据源中，以SQL查询或API调用的方式，抽取数据记录；利用增量抽取或CDC技术，仅抽取已变更或新增的数据，以提高效率和实时性。
• 非结构化或半结构化数据：从文本文件、日志、图像、音频、视频等非结构化数据源中，以适当的解析技术，抽取有价值的信息；使用文本挖掘、图像处理、语音识别等技术，将非结构化数据转化为结构化或半结构化形式。

 在数据抽取方式上，一般可以采用以下几种方式：

1. 全量抽取（Full Extraction）： 将源系统中的所有数据一次性抽取出来，适用于数据量不大且变化较少的情况，比如数据初始化装载。
2. 增量抽取（Incremental Extraction）： 只抽取源系统中发生变化的数据，通常使用时间戳或增量标记来识别新增或修改的数据，一般用于数据更新。
3. 增量抽取+日志追踪（Change Data Capture，CDC）： 在数据库中使用日志追踪技术，实时监测数据库中的变化，并将变化的数据抽取出来，以保证数据的实时性。

数据转换（Transform）

        数据转换是ETL流程的核心环节，涉及对抽取的数据进行清洗、整合和转换，使其适应目标存储和分析的需求。不同结构的数据转换方式也不一样：

1. 结构化数据：转换方式主要是进行数据清洗，去除重复值、处理缺失数据，并确保数据一致性和准确性，执行关系型数据的连接、合并、筛选等操作&