从工具了解大数据之Kettle

本文介绍了Kettle作为大数据ETL工具在数据搬运中的应用,包括其核心组件、两种设计以及安装部署过程。重点讲述了Kettle的性能调优策略,如调整JVM参数、设置提交记录数等,并提供了Linux环境下部署调度任务的注意事项。总结指出,Kettle对于大数据岗位来说是实用且易上手的工具。
摘要由CSDN通过智能技术生成

最近沉迷Python爬虫学习,很有意思,即时刹车,坚持一步一学习,一步一整理
Kettle目前工作用于数据库搬运,例如Oracle定时搬运到mysql中间表,以便于加速查询

1.相关学习资料

【尚硅谷】大数据技术之Kettle视频教程
网盘资料下载:https://pan.baidu.com/s/1JxwmmPoeFc7HZuK-E5jzhg
提取码:g1jo

2.Kettle概述

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle 这个ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
Kettle(现在已经更名为PDI,Pentaho Data Integration-Pentaho数据集成)。

2.1 Kettle的两种设计

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值