Kevin_Sticker的博客

ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。        ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。

实现ETL过程，一般可以从以下四个方面考虑： 一、准备区的运用(ODS)         在构建数据仓库时，如果数据源位于一台服务器上，数据仓库在另一台服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库(ODS)。先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中频繁访问，进行数据运算或聚合等操作

各企业级ETL工具间的对比目录1.        目标读者2.        介绍2.1        数据整合的市场趋势2.2        企业ETL3.        产品架构3.1        INFORMATICA POWERCENTER3.2        THE WINDOWS SERVER SYSTEM3.2.1        SQL Se

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。项目名称很有意思，水壶。该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。它有两种脚本文

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式

需求：       你有没有遇到过不同数据库之间数据对接的需求，比如：mysql数据库里的数据要保存到oracle数据库里，或者是excel里的数据要保存到数据库里，或者是数据库的数据要定时的保存到文件中等等数据对接的问题。下面就开始介绍一款软件来帮助我们实现各种数据对接的问题，这将是一个系列的博客，这篇只是个开始，后面将陆续的通过实例来讲解软件如何使用，当然不可能面面俱到，很多功能还需要

这一篇开始进入kettle的一些常用插件的使用介绍，通过实例介绍不同插件的功能。这一篇主要讲的是Data Grid和文本文件输出的使用。文本文件输出介绍（可以略过，一般用不着）：       1、Run this as a command instead：把结果输出到命令行或者脚本       2、文件名里包含步骤数：如果你在多个拷贝中运行步骤，拷贝的数量将包含到文件名中。

上一篇介绍了Data Grid和文本文件输出两个插件，并通过实例介绍插件的简单使用，如果有这样的需求大家可以参考一下并深入研究插件的其它细节设置。这一篇我们介绍（表输出）的使用。表输出Target Schema：目标模式。要写数据的表的Schema的名称。允许表明中包含“。”对数据源来说是很重要的目标表：要写数据的表名。提交记录数量：在数据表中用事物插入行。如果n比0大，每