ETL数据清洗工具总结

转自：https://www.cnblogs.com/yuyu666/p/10049912.html

ETL数据清洗工具总结

用excel做数据清洗，少量数据和表还行，如果上百万就很痛苦了，毕竟性能在那。如果有SQL的基础可以写SQL语句对数据做清洗，但是有些清洗SQL处理起来并不是很方便。再高阶一点，如果有编程的基础可以学Python，写脚本对数据做清洗，性能高处理快，就是门槛有点高。自动化清洗集成比较好的工具，之前接触过智器云的火治还是比较好用的。可以自动对数据分组，然后对分组的数据匹配清洗模板，清洗模板相当于包含了很多excel的函数，上手很快。

还有一些辅助清洗的小工具。

比如文件查找工具FileLocatorPro，不仅能对表头查找，重点是能对文件内容搜索。什么意思呢，举个例子比如要找内容包含“数据清洗”的文件，用这个工具就能找到。像Everything那些查找工具都只能对文件名搜索。
文件名清洗工具ReNamer。可以批量修改文件名，什么插入、删除、替换、扩展名都可以修改。
还有excel的一些插件也很好用，比如方方格子，效率专家之类的。
作者：凉白开 链接：https://www.zhihu.com/question/360711041/answer/940290001
来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
【国外】

1. datastage
   点评：最专业的ETL工具，价格不菲，使用难度一般

下载地址：ftp://ftp.seu.edu.cn/Pub/Develop … taStage.v7.5.1A-iSO

BT种子下载：http://pan.baidu.com/share/link?shareid=172289&uk=67437475

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

2. informatica
   点评：专业程度如Datastage旗鼓相当，价格似乎比Datastage便宜。

Informatica PowerCenter 8.6.1 for Win 32Bit

服务端下载：http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载：http://pan.baidu.com/share/link?shareid=183217&uk=67437475

Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载：http://pan.baidu.com/share/link?shareid=172290&uk=67437475

Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载：http://pan.baidu.com/share/link?shareid=183201&uk=67437475
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

3. kettle
   点评：业界最有名的开源ETL工具。开源当然就免费，免费的有些东西使用就不是很方便。

下载地址：http://kettle.pentaho.com/

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

4. ODI
   点评：oracle数据库厂商提供的工具，有局限性，与oracle数据库耦合太深。

下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

5.Cognos

下载地址：http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/

Cognos BI 8.3

BT种子下载： http://pan.baidu.com/share/link?shareid=172287&uk=67437475

Cognos BI 8.4
BT种子下载：http://pan.baidu.com/share/link?shareid=172288&uk=67437475

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
【国内】
6. beeload
点评： 最好的国产ETL工具，但产品化程度还有一定距离。

下载地址: www.livbee.com
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

二 专业调度工具
有人说: ETL是BI的基础，而调度是ETL的灵魂，可见调度的重要性！
调度原本是ETL技术的一个分支，但这些年, 调度越来似乎有走独立工具的趋势。虽然在ETL工具有调度功能，但与独立调度工具相比，ETL工具的调度就显得很弱了。

【国外】

1. Control-M
   点评：你当了大哥太多年，确实有点寂寞。不论是你的规模、价格、使用难度，都很伟大，但我一界平民，你对我只是传说。

官网地址：www.bmc.com

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

【国内】

2. taskctl
   点评：调度新秀。专业，而且设计独特、体验友好。易安装、易使用，看好其前景。
   下载地址：http://www.taskctl.com/html/2012 … 8b57714a50a15a.html

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

3. ETS
   点评：专业化有待提升
   官网地址：http://www.etlschedule.com/

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

4. Moia
   点评：产品与项目是有区别的，不要总是在产品化与客户化之间徘徊。
   官网地址：http://www.adtec.com.cn/_d271218319.htm
   －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

5. ETL-Plus
   点评：功能全，遗憾的是东南倒塌。
   下载地址：[无]

原文转自IT Pub：

http://www.itpub.net/forum.php?mod=viewthread&tid=1757788

-----[尐鱼儿的 JAVA编程QQ群：726994578]-----