http://bbs.dwway.com/thread-9750-1-1.html
Ab Initio的并行性控制和处理可能是最底层和最好的,在一个200T规模的数据仓库中,执行一个单表ETL(AIX,IBM 690,1亿2千万纪录,单纪录220字节,文本方式进出)在16路CPU和32物理分区上不到10分钟。个人觉得Informatica更容易开发,可能也更健壮一些,但应付特别大的东西的时候性能到底怎样?各位大虾是否可以说说你们用过的工具和对应的数据规模?
这个工具,好像在国内没听到有什么应用。。在国内也不知有没有代理。
就这个数据量来说,同样的环境,我想应该可以。因为读写文件都会很快的。INFA在源和目标是Oracle的前提下,且有一定复杂转换时,能达到1.35-1.69M/s/cpu。。如果是文件,我想速度会更快。但文件没测过这么大量。
以上我算了一下是,2.62M/s/cpu。。。如果源和目标都是文件,呵,我想主流的工具,应该不会差很多。。
这个工具,好像在国内没听到有什么应用。。在国内也不知有没有代理。
就这个数据量来说,同样的环境,我想应该可以。因为读写文件都会很快的。INFA在源和目标是Oracle的前提下,且有一定复杂转换时,能达到1.35-1.69M/s/cpu。。如果是文件,我想速度会更快。但文件没测过这么大量。
以上我算了一下是,2.62M/s/cpu。。。如果源和目标都是文件,呵,我想主流的工具,应该不会差很多。。