oracle saiku_数据中台建设杂谈

本文讲述了某互联网金融公司在数据中台建设过程中的经历,从零开始搭建仓库、报表和可视化平台,引入Saiku等工具。面对人员流失和技术挑战,团队尝试改进,但进展缓慢。文章分析了现有数据仓库架构的问题,如技术边界不清、计算引擎单一等,并提出了针对性的改进措施,包括提供不同查询服务出口、批流计算支持、统一数据建模等。
摘要由CSDN通过智能技术生成

现状

公司属于是互联网金融行业,但因为只是中小型企业,技术积累较少,数据部门也是16年未开始组建的。最初只是一个提数小组,为业务部门提供他们需要的数据,直到上层领导有意走数据驱动业务的方式,才创建了数据部,也可能只是为了赶时髦,毕境17年,各种GB、TB已经满天飞。

于是领导就带领着大家搞起了大数据,创建了最初的仓库平台、搭建了报表平台、可视化平台,对业务提供支撑。几乎没有相关技术储备,可以说从0到1,轰轰烈烈,加班加点搞了几个月,初见成效。在做大数据平台的同时,也引入了一些数据应用产品,比如多维分析的saiku,BI工具SuperSet,用于提供报表和提数需求;并且也开发了自己的数据管理平台、统一调度中心,可以小有成就。

18年年初(3月初左右)公司上层决策创建金融事业中心并单独运营,部门负责人被抽离到金融,并带走部分核心人员,再加上离职人员,技术所剩无几,导致后续大数据平台停步不前,没有什么新的产品开发,日常工作即停留在对原有系统的使用上,应对越来越多的提数需求和个性化的业务定制需求,响应乏力。同事们也有心改造,但无奈人员缺乏,技术储备不足等原因,未能见成效。

当然,近1年多的时间同事们也没有闲着,在完成工作的时事,尝试了一些大数据应用的技术和方案,算是做了些相关技能的存储。

设想

2018Q4研发中心架构调整,欲建立去中心化的开发平台,即各业务部门各自管理自己的应用和数据,同时同步到数据中台。各业务部门对其它

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值