http://topic.csdn.net/u/20081014/15/ff429eb0-e04c-4f0a-9e17-f3174b990e0e.html
主要集中在,对异构数据源的支持,对代码效率的讨论,大项目中元数据管理的重要性
|
ETL工具探讨
本人用过BO-di和oracle-DI
现在建了个ＱＱ群：21578002
希望交流一下ＥＴＬ的学习经验和心得．
加入时需标明自已目前正在用或是想了解哪个ＥＴＬ工具的名称．
希望加入群的人都活跃些，帮助别人或被别人帮助
| | | | |
|
|
|
|
|
#1楼 得分：0回复于：2008-10-21 00:21:45
|
没用过ETL工具,
我感觉上,觉得ETL工具还没有自己写的存储过程快. :)
| | |
|
|
|
|
|
#2楼 得分：0回复于：2008-10-21 17:19:29
|
存储过程通常都是受平台限制，实际应用中，数据的形式是多样的，数据库平台也可能不相同，或者干脆就没在数据库里，真正的ETL需要有比较好的综合编程能力。
| | |
|
|
|
|
|
#3楼 得分：0回复于：2008-10-28 19:03:24
|
|
|
 - mgan
- (ROOT→〖将来是我〗)
- 等 级：
 -
|
#4楼 得分：0回复于：2008-11-03 17:12:10
|
一个大的项目不会给你一个统一的数据源供你使用的~
可能有iformix /oracle/db2 /sql server甚至有的是文本文件！
而且一般数据仓库的数据如果都在T级
想要靠存储过程解决的话就很难
目前国内大的项目使用ETL工具较多的Datastage /informatic了
| | |
|
|
|
|
|
#5楼 得分：0回复于：2008-11-07 19:13:37
|
etl对应的源数据会包含不同的异构数据库，还有可能是flat file，如果用存储过程，在通用性上会受限制。
当然，如果是有针对性的的开发，存储过程也不失为一个好办法，当然，也可以采用shell、perl等脚本来处理。
| | |
|
|
|
|
|
#6楼 得分：0回复于：2008-11-09 01:40:13
|
|
|
|
|
#7楼 得分：0回复于：2008-11-09 10:14:07
|
无论是什么数据源，
iformix /oracle/db2 /sql server
只要有驱动，都可以用过程去处理。
本质上，ETL是编程，过程也是编程。ETL也是与数据库连接，用过程也是与异构数据库连接。
当然，如果数据不规则的话，过程处理有时是比较麻烦。
| | |
|
|
|
|
|
#8楼 得分：0回复于：2008-11-13 06:47:27
|
ETL对异构数据源的支持和可扩展性还是很强大的。 如果只是想把数据用ETL导入数据仓库， 自己搞简单的存贮过程也可以胜任， 但可能会有许多重复性的编程吧。 如果是虚拟数据仓库， 还是需要一个统一的平台来搞。
| | |
|
|
|
|
|
#9楼 得分：0回复于：2008-11-14 15:53:01
|
informatic、owb、datastage....
| | |
|
|
|
|
|
#10楼 得分：0回复于：2008-11-24 11:33:19
|
我是用SQL SERVER2005做数据仓库,使用的ETL工具是SSIS,使用起来还可以,性能不错
| | |
|
|
|
-
- mgan
- (ROOT→〖将来是我〗)
- 等 级：
-
|
#11楼 得分：0回复于：2008-11-26 17:53:40
SSIS对数据量不是忒大的处理还是不错的
而且你用SQL SERVER作为数据仓库 那就是更方便了
| | |
|
|
|
|
|
#12楼 得分：0回复于：2008-12-05 12:22:20
|
|
|
|
|
#13楼 得分：0回复于：2008-12-05 17:49:48
|
|
|
|
|
#14楼 得分：0回复于：2008-12-08 16:17:21
|
现在用datastage的比较多，但是BO的DI使用起来更方便、灵活，数据处理的效率上相差不多的
| | |
|
|
|
|
|
#15楼 得分：0回复于：2008-12-18 13:13:44
|
请看一下WangDBtoCsv与ETL工具的区别
将DB转化为以开放式文件为基础的简易DB
http://www.sharebank.com.cn/soft/SoftBuy_29038.htm
| | |
|
|
|
|
|
#16楼 得分：0回复于：2008-12-18 21:42:24
同感，有时候处理一些逻辑要求较复杂的Etl 添加一些特殊的异常处理，过程编程还是比较实际的
象SSIS,DATASTAGE 有时候并不能满足很多复杂的需求 ，而且在实际发布的时候也不是想象中的那么简单
| | |
|
|
|
|
|
#17楼 得分：0回复于：2008-12-18 21:48:33
|
|
|
|
|
#18楼 得分：0回复于：2008-12-20 19:05:53
|
|
|
|
|
#19楼 得分：0回复于：2008-12-20 22:09:50
|
我现在在用datastage，本人qq：8143571，一般晚上在，多交流哈，另外祝大家圣诞快乐。
| | |
|
|
|
|
|
#20楼 得分：0回复于：2008-12-21 22:17:45
|
|
|
|
|
#21楼 得分：0回复于：2008-12-22 10:27:26
|
|
|
|
|
#22楼 得分：0回复于：2008-12-22 10:32:36
其实，开发一个导数据的工具就可以了，确实，那些工具在处理时很直观，但还是没有写存储过程快
| | |
|
|
|
|
|
#23楼 得分：0回复于：2008-12-25 15:23:54
|
|
|
-
- mgan
- (ROOT→〖将来是我〗)
- 等 级：
-
|
#24楼 得分：0回复于：2008-12-30 10:31:09
|
|
|
|
|
#25楼 得分：0回复于：2008-12-30 11:36:14
|
|
|
|
|
#26楼 得分：0回复于：2008-12-30 12:04:08
|
|
|
|
|
#27楼 得分：0回复于：2008-12-31 16:25:18
|
| | 该回复于2009-02-06 09:17:50被管理员删除 |
|
|
|
|
|
#28楼 得分：0回复于：2009-01-07 14:55:26
|
1、负责数据仓库建模、数据预处理子系统的设计和开发；
2、负责数据仓库应用产品设计和开发；
3、负责数据仓库ETL流程的优化及解决ETL相关技术问题。
...去TD找的话，比较实际。
其它公司也有高手，但都当管理层了，挖不动。写代码的明显业务能力不够，谈不上设计和开发，更不用说产品设计了。
刚接触ETL。问题多多啊。进来受教的。
| | |
|
|
|
|
|
#29楼 得分：0回复于：2009-01-09 17:45:55
|
本人正在研究ETL.不知道楼主可有MSN群否.qq貌似在我们公司不给用的...
现在用的也是SSIS,数据库环境自然是sql server2005...
| | |
|
|
|
|
|
#30楼 得分：0回复于：2009-01-12 15:03:01
我用kettle
| | |
|
|
|
|
|
#31楼 得分：0回复于：2009-01-19 16:46:33
|
|
|
|
|
#32楼 得分：0回复于：2009-01-20 23:40:01
哈哈，我们也是存储过程，etl工具都没有用到过呢，落后啊！
| | |
|
|
|
|
|
#33楼 得分：0回复于：2009-01-21 22:58:26
|
|
|
|
|
#34楼 得分：0回复于：2009-01-22 11:38:58
|
|
|
|
|
#35楼 得分：0回复于：2009-01-22 17:54:21
|
|
|
|
|
#36楼 得分：0回复于：2009-03-03 14:59:43
|
目前，能做到ETL的很少吧，一般都是ELT。
工具没用过，汗一个先。
一般用perl、shell脚本，或者存储过程实现的
| | |
|
|
|
|
|
#37楼 得分：0回复于：2009-03-04 18:06:04
|
我一般使用Microsoft Intergration Serivces
| | |
|
|
|
|
|
#38楼 得分：0回复于：2009-03-06 04:41:05
|
|
|
|
|
#39楼 得分：0回复于：2009-03-09 13:42:18
|
有人用过Talend吗，不知和Kettle比哪个好
| | |
|
|
|
|
|
#40楼 得分：0回复于：2009-03-09 20:48:14
`````
| | |
|
|
|
|
|
#41楼 得分：0回复于：2009-03-12 19:42:39
|
|
|
|
|
#42楼 得分：0回复于：2009-03-13 13:12:40
|
|
|
|
|
#43楼 得分：0回复于：2009-03-25 17:00:53
|
不知道小白可不可以进群哦，从没接触过数据仓库，ETL可是头头让我接个数据仓库的项目，都不知道该从哪下手了
| | |
|
|
|
|
|
#44楼 得分：0回复于：2009-03-27 12:49:07
|
|
|
|
|
#45楼 得分：0回复于：2009-03-31 09:37:32
|
|
|
|
|
#46楼 得分：0回复于：2009-05-15 00:13:19
|
DTS 2000 datastage都用过,其时工具的作用更多在于加快开发速度,很多工具其时只不过加了一层外壳而已,执行的时候也得使用数据库底层的东西.存储过程虽然灵活,但维护及开发都要花不少时间,对于你的BOSS来说,肯定喜欢你使用工具了
| | |
|
|
|
|
|
#47楼 得分：0回复于：2009-05-15 21:07:02
谢谢！正在学习，去看看。
| | |
|
|
|
|
|
#48楼 得分：0回复于：2009-05-30 20:40:58
|
大型DW项目必定都会转向使用工具，因为工具不是开发效率问题这么简单，而是管理的综合问题，包括开发、测试、移植容易管理，而且元数据管理是大型项目的必须的，也是最重要的管理方向，手工编码的元数据管理一般都一塌糊涂。
| | |
|
|
|
|
|
#49楼 得分：0回复于：2009-05-31 09:37:14
|
|
|
|
|
#50楼 得分：0回复于：2009-07-14 15:08:52
|
|
|
|
|
#51楼 得分：0回复于：2009-07-15 11:29:45
|
| | 该回复于2009-07-15 14:58:29被版主删除 |
|
|
|
|
|
#52楼 得分：0回复于：2009-07-28 16:42:24
|
|
|
|
|
#53楼 得分：0回复于：2009-07-29 08:55:44
|
|
|
|
|
#54楼 得分：0回复于：2009-08-04 16:59:55
|
没用过ETL工具,
我感觉上,觉得ETL工具还没有自己写的存储过程快. :)
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
1楼是高手,呵呵...
大型DW项目必定都会转向使用工具，因为工具不是开发效率问题这么简单，而是管理的综合问题，包括开发、测试、移植容易管理，而且元数据管理是大型项目的必须的，也是最重要的管理方向，手工编码的元数据管理一般都一塌糊涂。
----------------------------------------------------
48楼是正解。
ETL工具嘛，无非就是用来做ETL，呵呵.（是不是和没说一样...）各种ETL工具各有所长，所谓尺有所短，寸有所长嘛。
统计了一下楼上的ETL工具，包括Informatica, DataStage, DTS, Talend, Kettle, BO-di，oracle-DI，SSIS, OWB, Microsoft MIS
大家一起讨论下各种工具的优劣吧！
DataStage:
Ascential的产品，后来被IBM收购，现在看来是很多大型DW项目的首选。功能比较强大。但缺点是有些功能不是很灵活，使用不是很方便；价格也比较昂贵。
等待高手补充...
| | |
|
|
|
|
|
#55楼 得分：0回复于：2009-08-04 17:21:04
|
啊。 群已经满员了。用过DataStage 和 Informatica.
| | |
|
|
|
|
|
#56楼 得分：0回复于：2009-08-05 10:55:51
|
|
|
|
|
#57楼 得分：0回复于：2009-08-06 17:02:04
|
汗，原来这帖我回过，还说谁给我们这群做广告呢~~~~
ETL工具的实质就是存储过程啊，只不过代码自动生成啦，可读性扩展性规范性都比手工编码要好哇
| | |
|
|
|
|
|
#58楼 得分：0回复于：2009-08-23 22:16:50
|
| | 该回复于2009-08-25 11:55:48被版主删除 |
|
|
|
|
|
#59楼 得分：0回复于：2009-08-28 09:49:17
|
|
|
|
|
#60楼 得分：0回复于：2009-10-10 17:09:18
|
在2007年以前研究过kettle 版本是2.5的，现在用oracle odi 和 cognos 的data manager ,不知道大家都在使用那些工具？
|
|
1409
非常没帮助
没帮助
一般
有帮助
非常有帮助
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
