《Kettle构建Hadoop ETL系统实践》简介

#好书推荐##好书奇遇季#Kettle构建Hadoop ETL系统实践》,京东当当天猫都有发售。定价79元,网店打折销售其实没多少钱。

Kettle是一款国外开源的ETL工具,纯Java编写,无须安装,功能完备,数据抽取高效稳定。本书介绍并演示如何用Kettle完成Hadoop数据仓库上的ETL过程,所有的描绘场景与实验环境都是基于Linux操作系统的虚拟机。我们仍然以CDH作为Hadoop平台,沿用相同的销售订单示例进行说明,因此可以将本书当作《Hadoop构建数据仓库实践》的另一版本。

本书内容

全书共分10章,主要内容包括ETLKettle的基本概念、Kettle安装与配置、KettleHadoop的支持、建立ETL示例模型、数据转换与装载、定期自动执行ETL作业、维度表技术、事实表技术,以及Kettle并行、集群与分区技术。

为什么选用Kettle

面对各种各样的ETL开发工具,之所以选择Kettle,主要由于它的一些鲜明特性。首先,很明确的一点是,作为一款GUI工具,Kettle的易用性好,编码工作量最小化。几乎所有的功能都可以通过用户界面完成,提高了ETL过程的开发效率。其次,Kettle的功能完备。书中演示所用的Kettle 8.3版本几乎支持所有常见的数据源,并能满足ETL功能需求的各种转换步骤与作业项。第三,Kettle是基于Java的解决方案,天然继承了Java的跨平台性,只要有合适的JVM存在,转换或作业就能运行在任何环境和平台之上,真正做到与平台无关。最后,Kettle允许多线程与并发执行,以提高程序执行效率。用户只需指定线程数,其他工作都交给Kettle处理,实现细节完全透明化。

本书读者

本书既适合大数据分析系统开发、数据仓库系统设计与开发、DBA、架构师等相关技术人员阅读,也适合高等院校和培训机构人工智能与大数据相关专业的师生参考。

本书作者

王雪迎 ,毕业于中国地质大学计算机专业,高级工程师,20年数据库、数据仓库相关技术工作经验。先后供职于北京现代商业信息技术有限公司、北京在线九州信息技术服务有限公司、华北计算技术研究所、北京优贝在线网络科技有限公司,担任DBA、数据架构师等职位。著有图书《Hadoop构建数据仓库实践》《HAWQ数据仓库与数据挖掘实战》《SQL机器学习库MADlib技术解析》《MySQL高可用实践》。

目录

第1章  ETL与Kettle

第2章  Kettle安装与配置

第3章  Kettle对Hadoop的支持

第4章  建立ETL示例模型

第5章  数据抽取

第6章  数据转换与装载

第7章  定期自动执行ETL作业

第8章  维度表技术

第9章  事实表技术

第10章  并行、集群与分区

### 回答1: Kettle是一款开源的ETL工具,可以用于构建Hadoop ETL系统。通过Kettle,我们可以方便地从不同的数据源中提取数据,并将其转换为Hadoop所支持的格式,然后将数据加载到Hadoop集群中进行处理和分析。Kettle还提供了丰富的转换和处理功能,可以帮助我们快速地完成数据清洗、转换和整合等任务。在实践中,我们可以使用Kettle构建一个完整的Hadoop ETL系统,从而实现高效的数据处理和分析。 ### 回答2: Kettle是一个流行的ETL工具,它可以用于构建Hadoop ETL系统。在实践中,我们可以按照以下步骤来构建: 1. 首先,我们需要安装Hadoop集群和Kettle工具。Hadoop集群可以通过Cloudera或Hortonworks等供应商获取,而Kettle可以在官网上下载。 2. 接下来,我们需要创建Kettle的Transformation和Job。Transformation通常用于处理数据的转换和加载操作,而Job是管理Transformation和其他任务的逻辑顶层容器。我们可以通过Kettle的GUI界面创建这些对象。 3. 然后,我们需要将Hadoop集群与Kettle连接。可以使用Hadoop文件系统或Hive作为数据源和目标。我们可以使用Kettle中提供的Hadoop组件来实现连接。 4. 在Transformation中,我们可以使用Kettle提供的多个转换步骤来处理数据。例如,我们可以使用“检查重复行”步骤来删除重复的行,使用“过滤行”步骤来过滤数据,使用“排序行”步骤来排序数据,等等。 5. 最后,我们可以使用Job来调度和执行Transformation和其他任务。可以使用Kettle的调度器将Job安排在特定时间运行。 需要注意的是,构建Hadoop ETL系统需要一定的知识和经验。因此,建议在实践前先进行相关培训或寻求专业顾问的帮助。 ### 回答3: Kettle是一个开源的数据集成工具,可以帮助用户轻松地从不同的数据源中提取数据,然后将其转换为所需的格式,并将其载入到Hadoop大数据处理系统中。在构建Hadoop ETL系统实践中,Kettle可以发挥非常重要的作用,下面我将从以下几个方面介绍Kettle构建Hadoop ETL系统实践中所起到的作用。 一、Kettle可以快速获取数据 Kettle提供了多种数据获取方式,如从关系型数据库、文本文件、Web服务、XML等数据源中快速的获取数据。用户只需简单的设置一些参数和连接信息,就可以方便地实现数据抓取与整合。同时,Kettle还支持批处理与增量处理两种方式,用户可以根据自己的需求来选择不同的方式来实现数据处理。 二、Kettle可以快速实现数据转换 Kettle提供了多种转换组件,如字段的添加、删除、修改、排序、合并、拆分、聚合等,用户可以根据自己的需求来组合这些组件来实现数据的转换和整合。同时,Kettle还支持一些高级转换功能,如日期和时间格式化、加密和解密等,用户可以根据自己的需求来选择不同的转换功能来实现数据的转换。 三、Kettle可以快速实现数据载入 Kettle提供了多种数据载入方式,如关系型数据库、文本文件、Hadoop、Hive、HBase等,用户只需设置一些信息和连接参数,就可以方便地将数据载入到目标系统中。同时,Kettle还支持数据清洗、去重、修改、替换等多种操作,用户可以根据自己的需求来选择不同的操作来实现数据的清洗与整合。 总之,Kettle可以帮助用户轻松实现数据抓取、转换和载入,从而实现Hadoop ETL系统的建立。在实践中,用户可以根据自己的需求来灵活使用Kettle中的各种功能和组件来实现数据处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值