数据集市项目的总结

本人毕业就在某银行信用卡中心工作，做了数据集市项目，据说投资3000万。后来在阿里做数据产品经理的工作，想把过去的工作总结一下，不管成功和失败，都是一种经历。于是有了下面的文字。

<wbr></wbr>

【项目概况】

项目立项花费时间：1年多

项目启动时间：2009年3月21日

实施公司：东南融通-菲奈特

硬件：忘了

数据库：DB2

ETL调度：Datastage

Olap服务器：hyperion

需求方/业务处：市场、风险、财务；客服、直营、电营、网营、催收、客服；监控处、操作处

项目经理：总行科技部出1人

项目管理：卡中心系统处出1人

业务咨询：决策管理处-数据仓库组（5人）

源系统：semacard核心计费系统、财务系统、信审无纸化系统、催收系统、客服系统、短信平台

甲方更换的项目经理：3人

甲方参与人数：决策管理处10人，系统处2人，业务处的经办20人，由此而牵涉到的开发公司源讯（核心系统）、信雅达（信审无纸化）、广东电信（客服）、华为（客服）等等。

牵涉到的最高层：副行长

经常涉及到的高层：卡中心总经理、副总经理、各业务处总监和主管

开会的频率：每两周至少一次大会，每天至少一次小会

乙方更换的项目经理：3人

乙方投入的人力：至少是20-30人的人力，持续做了2.5年。

<wbr></wbr>

我于2010年12月离职，当时一期还没有测试完成，据了解到2011年10月份的时候，所有的需求全部上线。

<wbr></wbr>

下面一一介绍，如果马上要想到一个词：痛苦。

<wbr></wbr>

【项目启动】

首先谈项目启动。据说用了一年多的时间。当时，广发一直有SAS组（后改名为决策管理处），分3个小组，报表组、仓库组、模型组，报表组处理各业务处的日常数据需求，包括简单报表、复杂分析、周期任务，甚至包括很多线上项目，仓库组负责中间层的建设，数据字典的维护，以及想推动数据集市建立，而成立的。模型组主要是维护评分卡项目，以及各业务处在风险及营销方面的客户评分等需求。成员中计算机背景的比例偏低，更多的是业务方面和数学功底。

有一套cognos的报表系统，为财务、风险、市场等部门提供基本的在线查询报表服务。但统计口径陈旧，没有进行数据更新，数据质量较差。

从系统架构上来看，报表组和仓库组有一台采集服务器，一台分析服务器，2台工作站作为存储，其余所有临时任务都在开发人员本地进行。模型组相对独立，有一台专门跑批评分卡的服务器，其余模型分析工作在开发人员本地进行。

开发环境：windows

开发语言：SAS

调度系统：用windows的任务计划

总体来讲，IT化程度较低，大部分工作（如需求的记录、需求分配、需求审核、bug记录、调度系统、导出结果数据、甚至扣费等涉及到钱的关键步骤）都通过人工来维护。此模式已经运行了8年之久，虽然比较落后，但也形成了一定的规模，满足日常业务处的数据需求，没有遇到多大的瓶颈。

但也有很多困扰，例如：

1）存储少，很多是月存储，没有日快照存储，很多业务分析由于无法追溯历史而不能进行

2）计算速度慢，大部分是在本地进行，本地的工作站虽然配置比一般的pc好一些，但跑批上G甚至上10G时，基本无法完成。而且计算资源分散，容易导致计算和存储资源的浪费。

3）数据质量不高，经常听到取错数据的消息甚至是处罚。数据质量的保证通过，交叉review和业务人员随机抽查计算来完成，很多关键的业务数据（分期付款的返回、积分的返回等）都是通过SAS组计算完成，然后将结果传输到核心系统进行处理。

4）调度系统落后，很多依赖关系没有解决，很多是通过跑批时长来估算，确定任务的开始时间。

5）需求管理混乱，需求的质量无法把控