CC的博客

XML是一种可扩展标记语言，也是一种元标记语言，所谓“元标记”就是开发者可根据自己的需要自定义标记。XML是一种很像HTML的标记语言，但是它们也有很大的区别，譬如XML被设计出来主要用于传输和存储数据，其焦点是数据的内容，而HTML被设计出来主要用于显示数据，其焦点是数据的外观；XML中的标签是没有被预定义的，都是由XML文档的创作者发明的，HTML中的标签是预定义的，其文档中使用的标签必须是在HTML标准中定义过的，对于用户自己定义的标签是不可使用的。

TSV是Tab-separated values的缩写，即制表符分隔值。使用制表符分隔数据字段的文件被称为制表符文件。制表符文件中的数据以表格结构储存，每一行储存一条记录，每条记录的各个字段间使用制表符分隔。大多数的操作系统和常用文本编辑器中，按一次“Tab”键表示默认插入一个制表符。通过Kettle工具抽取TSV文件tsv_extract.tsv中的数据保存至数据库extract中的数据表tsv中。

第八章 综合案例—构建DVD租赁商店数据仓库

Kettle-迁移和装载，主要实现Excel输入，表输出，插入更新。

kettle高级转换，记录集连接，多路数据合并，公式转换。

数据的预处理过程，除了包括数据抽取、数据本身的清洗与检验以及数据转换操作，还包括数据加载操作，数据加载是数据预处理过程的最后一个步骤，主要是负责将清洗检验、转换后的高质量数据加载到目标数据库中。数据的加载机制与数据的抽取机制相类似，数据的加载机制可以分为全量加载和增量加载。其中，全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作；而增量加载是指目标表只加载源数据表中变化的数据，其中变化的数据包含新增、修改和删除的数据。

不同的企业，有着不同的业务规则和数据指标，这些指标应该计算完存储到数据仓库中，供企业决策者进行分析，从而得出战略性的企业决策。例如，A公司和B公司的总公司想要得知各省份的手机日销售额，这就属于一个商务规则。

kettle实现不一致的数据源转换