![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kettle
tomalun
这个作者很懒,什么都没留下…
展开
-
大数据ETL工具kettle与sqoop对比分析
sqoop有两个版本:sqoop1和sqoop2,sqoop2功能比sqoop强一些,但sqoop2产品不成熟,不适合生产环境使用,且CDH和Ambari HDP都默认集成sqoop1,所以不考虑sqoop2。本文仅比较kettle和sqoop1:对比项 Kettle Sqoop1 适用场景 数据ETL,简单或复杂的数据抽取、数据转换、数据清洗、数据过滤、数据同步。...原创 2020-04-21 19:51:15 · 9585 阅读 · 0 评论 -
kettle实现MySQL数据库向hive数据仓库大数据同步经验分享
一、同步性能测试1、测试环境信息kettle:版本8.2,carte独立部署,内存参数-Xms1024m -Xmx4096mmysql数据库:8核CPU,CPU主频2.20GHz,16G内存,版本号5.7.25大数据环境采用CDH,包含HDFS、hive等组件CDH集群服务器(共4台):8核CPU,CPU主频2.20GHz,16G内存,CDH版本5.14.42、性能测试结果...原创 2020-01-15 14:06:30 · 2705 阅读 · 0 评论