基于voltDB指标管理平台存储计算产品需求

1. 平台部署

基于voltDB集群部署实现指标管理平台自动化部署

2.  指标管理平台数据模型需求

a)  同步完善干净的数据模型，展示事实表、维度表结构，标识维度、度量、属性字段

b)  数据模型列表展示客户级、机构级多个数据模型

c)  需要解决实时检核模型，跨长时间查询问题

3.  指标配置模式

a)  基于数据模型方式

i.  类似于指标探索模式，用户可基于数据模型配置指标

b)  基于流程模板方式

i.  用户可通过【数据模型】流程模板，实现建临时表、写SQL方式，不需要编译存储过程

ii.  临时表主键是系统生成，要求唯一，自动进行哈希计算，主键若设置的不好，会导致产出很多复制表，把内存撑爆

（voltDB表类型与性质说明：voltDB有分区表、复制表两种类型表，若用户在建事实表时主键设置的不好，便会转化为在每个分区里复制一份表，最终导致撑爆内存）

iii.  VB某一个子查询不能超过50M，有分页读取逻辑，内存超过50M会报错，在数据模型模块，产品会做内存校验提示

c)  基于离线存储过程方式

i.  产品需要支持上传下载发布java文件功能，并支持发布后，后台自动完成部署到服务器上

ii.  该模式作为项目交付保底方式

iii.  Java代码模式可更好的发挥vlotDB计算出的指标可以实现数据质量功能，可以实现异常捕捉功能

d)  基于指标组合模式

i.  保持目前样式

4.  指标平台数据同步需求

a)  同步数据表，抽取规则在平台上做简单配置

b)  同步数据模型

5.  运维监控需求

a)  指标管理平台运维监控只监控指标相关必须内容，其他调度需求可通过公司调度平台实现

6.  指标回吐逻辑

a)  指标在voltDB计算实现后存储在窄表里，后续回吐到DB2，Hive上

b)  指标回吐到Hive上，需要将主要属性、维度表在Hive上要全部维护一边

7.  指标探查需求

a)  指标探查是在voltDB里做探查，vb只存储七天数据，客户自己筛选日期，若日期跨度太大，数据就需要从Hive和DB2里查询，需要提示客户会出现页面超时问题（昆山客户没有impala,kudu需要收费）

b)  关于日期可以实现多种灵活方式，例如工作日，非工作日

8.  其他问题

a)  涉及长时间周期指标，例如年度指标计算其环比同比，建议将该指标字段直接存储在大宽表里

9.  项目需求汇总

a)  实现数据表、数据模型同步、指标配置、运维监控功能

b)  实现指标探索功能