2个月完成数据集市建设!
安徽移动数据集市建设
主要内容包括开放模型设计,etl采集,数据跟踪,前台静态报表展现,
以及给第三方(神码)提供数据集市接口规范。
2009年8月11号进入联创
9月份,由于老员工还有一个月将要离职,
我接手安徽移动数据集市的建设的时候,我手里只有开放模型文档。数据集市提出都1年多了,地市的用户每次都有怨言,呵呵,现在一直没有进展。
老员工的任务非常的多而杂,他手中不仅有数据集市的任务,还有其他的任务。
开始的时候 我和老员工一起 建一个表,配置一个调度,然后测试调度。测试调度有维护组的人负责。测试调度进展的不是很顺利中间出了很多错误
这样进行了一周,进度很慢。
考虑到老员工将要离职,他没有必要在做实际的工作,只要负责,整理和规划,实际的工作有我完成即可。
所以,我向公司项目经理建议,开发工作有我来完成,老员工只要把任务整理分析交接给我即可。
我采用分批建表方式,建表后分批建配置文件(以前都是公司手工配置的,后来我写了一个程序根据表明自动生成配置文件速度提高了N倍)
然后 有维护人员测试入库。
测试入库后,我对每个表也存储过程,写好后维护组在配置文件里面配置调用就即可。
这样并行工作,比串行方式提高了不少速度。
20天后 老员工离职,还好,不懂的问题我还可以向另外一个老员工请教。
10月13号 领导开了一个会议,这个会议非常的重要。
技术总监刘泉(负责三个省的经分建设,在安徽的机会很少)对数据集市建设进行了几点要求。
这些都是 我们在开发中没有注意的。这样开发的任务很清晰,明确。
1。确保11个地市的用户能够正常的访问数据(剩下的六个是神码做的)
2。确保有11个地市的数据
3。更新开放模型文档
4。每天数据跟踪日志。
由于人员变动,数据集市开放模型(经历三个人)提供给用户的开放模型文档和现在的开放模型文档已经
存在差异,开放模型文档要和数据集市系统里面字段保持一致。开放模型中提供字段,在库表里面必须体现,形成最新的版本。
目前只开放开放模型提供的主题,数据集市以前已经存在表,不在开放模型中的,不放开查询权限。
以后客户添加新的功能,在开放模型中添加相应的,修改开放模型版本号。(以后方便和客户结算费用)
每天数据跟踪,生成跟踪日志。确保数据正确,定时的发给相关的领导
把错误的信息,解决再发送给领导之前。不能及时修改的注明原因
这样客户要是提出那些表没有数据,领导根据日志看一下就知道了,节省了交互的时间。
这样做事情就顺利多了。进度也非常的快。