http://topic.csdn.net/u/20081014/15/ff429eb0-e04c-4f0a-9e17-f3174b990e0e.html
主要集中在,对异构数据源的支持,对代码效率的讨论,大项目中元数据管理的重要性
ETL工具探讨
本人用过BO-di和oracle-DI
现在建了个QQ群:21578002
希望交流一下ETL的学习经验和心得.
加入时需标明自已目前正在用或是想了解哪个ETL工具的名称.
希望加入群的人都活跃些,帮助别人或被别人帮助
| | | |
|
|
#1楼 得分:0回复于:2008-10-21 00:21:45
没用过ETL工具,
我感觉上,觉得ETL工具还没有自己写的存储过程快. :)
| | |
|
|
#2楼 得分:0回复于:2008-10-21 17:19:29
存储过程通常都是受平台限制,实际应用中,数据的形式是多样的,数据库平台也可能不相同,或者干脆就没在数据库里,真正的ETL需要有比较好的综合编程能力。
| | |
|
|
#3楼 得分:0回复于:2008-10-28 19:03:24
|
|
-
- mgan
- (ROOT→〖将来是我〗)
- 等 级:
-
|
#4楼 得分:0回复于:2008-11-03 17:12:10
一个大的项目不会给你一个统一的数据源供你使用的~
可能有iformix /oracle/db2 /sql server甚至有的是文本文件!
而且一般数据仓库的数据如果都在T级
想要靠存储过程解决的话就很难
目前国内大的项目使用ETL工具较多的Datastage /informatic了
| | |
|
|
#5楼 得分:0回复于:2008-11-07 19:13:37
etl对应的源数据会包含不同的异构数据库,还有可能是flat file,如果用存储过程,在通用性上会受限制。
当然,如果是有针对性的的开发,存储过程也不失为一个好办法,当然,也可以采用shell、perl等脚本来处理。
| | |
|
|
#6楼 得分:0回复于:2008-11-09 01:40:13
|
|
|
#7楼 得分:0回复于:2008-11-09 10:14:07
无论是什么数据源,
iformix /oracle/db2 /sql server
只要有驱动,都可以用过程去处理。
本质上,ETL是编程,过程也是编程。ETL也是与数据库连接,用过程也是与异构数据库连接。
当然,如果数据不规则的话,过程处理有时是比较麻烦。
| | |
|
|
#8楼 得分:0回复于:2008-11-13 06:47:27
ETL对异构数据源的支持和可扩展性还是很强大的。 如果只是想把数据用ETL导入数据仓库, 自己搞简单的存贮过程也可以胜任, 但可能会有许多重复性的编程吧。 如果是虚拟数据仓库, 还是需要一个统一的平台来搞。
| | |
|
|
#9楼 得分:0回复于:2008-11-14 15:53:01
informatic、owb、datastage....
| | |
|
|
#10楼 得分:0回复于:2008-11-24 11:33:19
我是用SQL SERVER2005做数据仓库,使用的ETL工具是SSIS,使用起来还可以,性能不错
| | |
|
-
- mgan
- (ROOT→〖将来是我〗)
- 等 级:
-
|
#11楼 得分:0回复于:2008-11-26 17:53:40
SSIS对数据量不是忒大的处理还是不错的
而且你用SQL SERVER作为数据仓库 那就是更方便了
| | |
|
|
#12楼 得分:0回复于:2008-12-05 12:22:20
|
|
|
#13楼 得分:0回复于:2008-12-05 17:49:48
|
|
|
#14楼 得分:0回复于:2008-12-08 16:17:21
现在用datastage的比较多,但是BO的DI使用起来更方便、灵活,数据处理的效率上相差不多的
| | |
|
|
#15楼 得分:0回复于:2008-12-18 13:13:44
请看一下WangDBtoCsv与ETL工具的区别
将DB转化为以开放式文件为基础的简易DB
http://www.sharebank.com.cn/soft/SoftBuy_29038.htm
| | |
|
|
#16楼 得分:0回复于:2008-12-18 21:42:24
同感,有时候处理一些逻辑要求较复杂的Etl 添加一些特殊的异常处理,过程编程还是比较实际的
象SSIS,DATASTAGE 有时候并不能满足很多复杂的需求 ,而且在实际发布的时候也不是想象中的那么简单
| | |
|
|
#17楼 得分:0回复于:2008-12-18 21:48:33
|
|
|
#18楼 得分:0回复于:2008-12-20 19:05:53
|
|
|
#19楼 得分:0回复于:2008-12-20 22:09:50
我现在在用datastage,本人qq:8143571,一般晚上在,多交流哈,另外祝大家圣诞快乐。
| | |
|
|
#20楼 得分:0回复于:2008-12-21 22:17:45
|
|
|
#21楼 得分:0回复于:2008-12-22 10:27:26
|
|
|
#22楼 得分:0回复于:2008-12-22 10:32:36
其实,开发一个导数据的工具就可以了,确实,那些工具在处理时很直观,但还是没有写存储过程快
| | |
|
|
#23楼 得分:0回复于:2008-12-25 15:23:54
|
|
-
- mgan
- (ROOT→〖将来是我〗)
- 等 级:
-
|
#24楼 得分:0回复于:2008-12-30 10:31:09
|
|
|
#25楼 得分:0回复于:2008-12-30 11:36:14
|
|
|
#26楼 得分:0回复于:2008-12-30 12:04:08
|
|
|
#27楼 得分:0回复于:2008-12-31 16:25:18
| 该回复于2009-02-06 09:17:50被管理员删除 | |
|
|
#28楼 得分:0回复于:2009-01-07 14:55:26
1、负责数据仓库建模、数据预处理子系统的设计和开发;
2、负责数据仓库应用产品设计和开发;
3、负责数据仓库ETL流程的优化及解决ETL相关技术问题。
...去TD找的话,比较实际。
其它公司也有高手,但都当管理层了,挖不动。写代码的明显业务能力不够,谈不上设计和开发,更不用说产品设计了。
刚接触ETL。问题多多啊。进来受教的。
| | |
|
|
#29楼 得分:0回复于:2009-01-09 17:45:55
本人正在研究ETL.不知道楼主可有MSN群否.qq貌似在我们公司不给用的...
现在用的也是SSIS,数据库环境自然是sql server2005...
| | |
|
|
#30楼 得分:0回复于:2009-01-12 15:03:01
我用kettle
| | |
|
|
#31楼 得分:0回复于:2009-01-19 16:46:33
|
|
|
#32楼 得分:0回复于:2009-01-20 23:40:01
哈哈,我们也是存储过程,etl工具都没有用到过呢,落后啊!
| | |
|
|
#33楼 得分:0回复于:2009-01-21 22:58:26
|
|
|
#34楼 得分:0回复于:2009-01-22 11:38:58
|
|
|
#35楼 得分:0回复于:2009-01-22 17:54:21
|
|
|
#36楼 得分:0回复于:2009-03-03 14:59:43
目前,能做到ETL的很少吧,一般都是ELT。
工具没用过,汗一个先。
一般用perl、shell脚本,或者存储过程实现的
| | |
|
|
#37楼 得分:0回复于:2009-03-04 18:06:04
我一般使用Microsoft Intergration Serivces
| | |
|
|
#38楼 得分:0回复于:2009-03-06 04:41:05
|
|
|
#39楼 得分:0回复于:2009-03-09 13:42:18
有人用过Talend吗,不知和Kettle比哪个好
| | |
|
|
#40楼 得分:0回复于:2009-03-09 20:48:14
`````
| | |
|
|
#41楼 得分:0回复于:2009-03-12 19:42:39
|
|
|
#42楼 得分:0回复于:2009-03-13 13:12:40
|
|
|
#43楼 得分:0回复于:2009-03-25 17:00:53
不知道小白可不可以进群哦,从没接触过数据仓库,ETL可是头头让我接个数据仓库的项目,都不知道该从哪下手了
| | |
|
|
#44楼 得分:0回复于:2009-03-27 12:49:07
|
|
|
#45楼 得分:0回复于:2009-03-31 09:37:32
|
|
|
#46楼 得分:0回复于:2009-05-15 00:13:19
DTS 2000 datastage都用过,其时工具的作用更多在于加快开发速度,很多工具其时只不过加了一层外壳而已,执行的时候也得使用数据库底层的东西.存储过程虽然灵活,但维护及开发都要花不少时间,对于你的BOSS来说,肯定喜欢你使用工具了
| | |
|
|
#47楼 得分:0回复于:2009-05-15 21:07:02
谢谢!正在学习,去看看。
| | |
|
|
#48楼 得分:0回复于:2009-05-30 20:40:58
大型DW项目必定都会转向使用工具,因为工具不是开发效率问题这么简单,而是管理的综合问题,包括开发、测试、移植容易管理,而且元数据管理是大型项目的必须的,也是最重要的管理方向,手工编码的元数据管理一般都一塌糊涂。
| | |
|
|
#49楼 得分:0回复于:2009-05-31 09:37:14
|
|
|
#50楼 得分:0回复于:2009-07-14 15:08:52
|
|
|
#51楼 得分:0回复于:2009-07-15 11:29:45
| 该回复于2009-07-15 14:58:29被版主删除 | |
|
|
#52楼 得分:0回复于:2009-07-28 16:42:24
|
|
|
#53楼 得分:0回复于:2009-07-29 08:55:44
|
|
|
#54楼 得分:0回复于:2009-08-04 16:59:55
没用过ETL工具,
我感觉上,觉得ETL工具还没有自己写的存储过程快. :)
------------------------------
1楼是高手,呵呵...
大型DW项目必定都会转向使用工具,因为工具不是开发效率问题这么简单,而是管理的综合问题,包括开发、测试、移植容易管理,而且元数据管理是大型项目的必须的,也是最重要的管理方向,手工编码的元数据管理一般都一塌糊涂。
----------------------------------------------------
48楼是正解。
ETL工具嘛,无非就是用来做ETL,呵呵.(是不是和没说一样...)各种ETL工具各有所长,所谓尺有所短,寸有所长嘛。
统计了一下楼上的ETL工具,包括Informatica, DataStage, DTS, Talend, Kettle, BO-di,oracle-DI,SSIS, OWB, Microsoft MIS
大家一起讨论下各种工具的优劣吧!
DataStage:
Ascential的产品,后来被IBM收购,现在看来是很多大型DW项目的首选。功能比较强大。但缺点是有些功能不是很灵活,使用不是很方便;价格也比较昂贵。
等待高手补充...
| | |
|
|
#55楼 得分:0回复于:2009-08-04 17:21:04
啊。 群已经满员了。用过DataStage 和 Informatica.
| | |
|
|
#56楼 得分:0回复于:2009-08-05 10:55:51
|
|
|
#57楼 得分:0回复于:2009-08-06 17:02:04
汗,原来这帖我回过,还说谁给我们这群做广告呢~~~~
ETL工具的实质就是存储过程啊,只不过代码自动生成啦,可读性扩展性规范性都比手工编码要好哇
| | |
|
|
#58楼 得分:0回复于:2009-08-23 22:16:50
| 该回复于2009-08-25 11:55:48被版主删除 | |
|
|
#59楼 得分:0回复于:2009-08-28 09:49:17
|
|
|
#60楼 得分:0回复于:2009-10-10 17:09:18
在2007年以前研究过kettle 版本是2.5的,现在用oracle odi 和 cognos 的data manager ,不知道大家都在使用那些工具?
| |