ETL难以成功的原因

ETL难以成功有以下几个难点：
1 . 数据仓库的数据来自于多个数据源，所以数据的一致性很难得到保证，很多情况下需要一种硬性的标准来决定数据的取舍问题,如来源于dl_crmcn,dl_ocnsb1,dl_bops,dl_cnweb
2 . 数据格式问题,例如数据缺失，超出数据范围，无效数据格式等等。如在member 的gmt_create时间居然有000000000格式的
3 . 出现错误之后没有正确的处理问题，导致数据的质量不断的下降。
4 . 数据一致性问题，处于数据库性能考虑，有时候可能会有意的去掉一些外键或者检查约束。
5 . 业务逻辑问题.由于数据库在最初设计时就不够严格和谨慎。

我们怎么判断数据的质量好坏的呢，一般用户拿原有系统的显示方式查看某一查询条件的数据与用商业智能报表所产生出来的数据进行对比，看有多大的出入，这个可能需要原先系统有足够的能力显示这些数据并且商业智能工具的报表有足够强大的查询和报表展示能力，或者是用商业智能的报表与OLAP运行出来的报表进行对比，看有多大的出入，出入一般都是会存在的，因为数据不可能完全的准确，但是一定要搞清楚哪里数据出现了问题，并且尽量不要让这些误差扩大到用户无法接受的地步，否则就认为BI失败了。

[@more@]

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/11423276/viewspace-979706/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/11423276/viewspace-979706/