本课程深入讲解开源ETL工具Kettle的使用，涵盖ETL流程、Kettle核心组件、性能调优、二次开发等内容。通过实例演示，学习如何利用Kettle进行大表数据的分批处理，理解数据流引擎原理，掌握并发运算，以及如何将Kettle集成到大数据环境中，与Hadoop协同工作。课程还包括Kettle的源码分析，帮助学员提升工作质量和效率。
ETL是什么？为什么要使用ETL？KETTLE是什么？为什么要学KETTLE？
ETL是数据的抽取清洗转换加载的过程，是数据进入数据仓库进行大数据分析的载入过程，目前流行的数据进入仓库的过程有两种形式，一种是进入数据库后再进行清洗和转换，另外一条路线是首先进行清洗转换再进入数据库，我们的ETL属于后者。
大数据的利器大家可能普遍说是hadoop，但是大家要知道如果我们不做预先的清洗和转换处理，我们进入hadoop后仅通过mapreduce进行数据清洗转换再进行分析，垃圾数据会导致我们的磁盘占用量会相当大，这样无形中提升了我们的硬件成本(硬盘大，内存小处理速度会很慢，内存大cpu性能低速度也会受影响)，因此虽然hadoop理论上解决了烂机器拼起来解决大问题的问题，但是事实上如果我们有更好的节点速度必然是会普遍提升的，因此ETL在大数据环境下仍然是必不可少的数据交换工具。
市场上流行的ETL很多，比如informatica等，但是开源的比较完善的却不是很多，而其中比较有名的要说是pentaho开源的kettle了，该工具被广泛用，并且开源的产品我们从中不仅可以学到ETL的简单应用，并且可以学习到ETL的原理以及通过源码学到更多的东西。
亮点一：KETTLE应用广泛，仅仅学会使用就可以找到一份不错的工作。
亮点二：本课程不仅讲解简单实用，同时讲解二次开发并且配有开发模板，提升工作质量。
亮点三：渗透了大数据的一些处理方法，与目前流行的hadoop配合使用。
亮点四：分析KETTLE源码，即使对ETL兴趣不大，至少
最低0.47元/天 解锁文章
扫一扫
1030
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
