ETL工具
dingguanyi
这个作者很懒,什么都没留下…
展开
-
Datastage性能优化
1,SQL自身的优化:调优,并行处理2,stage的拆分与合并:实践测试为准 如多个JOIN的stage双方都为大数量(几百万一般大于200w)则考虑合并。如大表但JOIN的数据不大就不用合并。 如一个stage中的两个表都为大表且关联很慢时考虑拆分为两个stage作Join(select后数据不大:小于40w)3,选用合理的stage: 像sort,之类的尽量少用,在数据库里完成...转载 2018-06-28 20:57:26 · 2053 阅读 · 0 评论 -
浅析 Transformer Stage 在 DataStage 作业中的用法及功能实现
产品背景介绍IBM InfoSphere DataStage 是业界主流的 ETL(Extract, Transform, Load) 工具,它使用了 Client-Server 架构,在服务器端存储所有的项目和元数据,并支持在多重数据结构中对大量数据进行收集、整合和转换。客户端 DataStage Designer 为整个 ETL 过程提供了一个图形化的开发环境,用户在 Designer 中对 ...转载 2018-07-05 15:33:23 · 3369 阅读 · 0 评论 -
Sublime Text3快捷键大全
选择类Ctrl+D 选中光标所占的文本,继续操作则会选中下一个相同的文本。 Alt+F3 选中文本按下快捷键,即可一次性选择全部的相同文本进行同时编辑。举个栗子:快速选中并更改所有相同的变量名、函数名等。 Ctrl+L 选中整行,继续操作则继续选择下一行,效果和 Shift+↓ 效果一样。 Ctrl+Shift+L 先选中多行,再按下快捷键,会在每行行尾插入光标,即可同时编辑这些行。 ...转载 2018-08-19 11:37:20 · 157 阅读 · 0 评论 -
ETL调度工具中美PK ( TASKCTL VS Control-M)
美方:Control-M ( www.bmc.com) 中方:TASKCTL ( www.taskctl.com ) 毫无疑问,Control-M作为美方代表当之无愧, 因为该软件不仅是美国国内最好的调度软件,而且在整个调度界,它依然处于霸主地位。在Gartner Group对现有的企业生产作业调度管理系统的评比中,Control-M连续多年排在第一位,是唯一的技术领导者。在...转载 2018-08-28 10:29:19 · 1619 阅读 · 1 评论