• 博客(6)
  • 收藏
  • 关注

原创 简化 MongoDB 关联运算

【摘要】        MongoDB提供的 lookup 对多表关联实现了基本的支持,但面对一些比较复杂的关联情况,往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言,则因其离散性、易用性恰好能弥补 Mongo 这方面的不足。若想了解更多,请前往乾学院:简化 MongoDB 关联运算!MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库,这种bson格式的...

2018-12-24 17:42:16 402 1

原创 数据脱敏的处理方法及查询

【摘要】关键词:集算器、SPL、数据脱敏、报表1)、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一。”2)、本文介绍的脱敏数据报表查询将利用润乾集算器编写 SP...

2018-12-24 17:37:05 13176

原创 体系结构方案 -BI 系统的前置计算

【摘要】存在问题:BI 系统后台计算由中央分布式数据仓库(MPP)实现,性能不佳,导致交互式多维分析响应迟钝。产生的原因:中央数据仓库上挂数十个应用,计算负担太重!解决方案:数据前置计算 / 缓冲层,由应用程序直接计算,不再请求中央数据仓库。使用常规数据库实现前置计算的“烦恼”: 全量数据前置?高频数据前置?SQL 转换问题?性能问题?BI 系统的前置计算...

2018-12-13 15:18:43 158 2

原创 实时报表 T+0 的实现方案

【摘要】基于数据库系统的 T+0 全量实时查询,在数据量很大时一般只能进行数据库扩容(包括分库手段),成本高昂;如果采用文件系统和生产数据库混合运算,就可以实现低成本高性能的 T+0 查询,而热导出机制则是这个方案的基础!一 问题背景在报表的应用系统中,用户越来越关注数据的实时性,希望最新发生的数据能在报表中体现出来,也就是我们常说的T+0场景, 以此及时辅助决策、驱动运营。比如交通...

2018-12-06 15:54:14 1925

原创 玩转Mongo计算

MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的 bson 格式,因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,但是写起来并不简单。若能集算器 SPL 语言结合,...

2018-12-06 15:34:42 240

原创 Java 嵌入 SPL 轻松实现数据分组

问题介绍要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算,是比较繁琐的,通常先要声明数据结构(Java 实体类),然后用 Java 集合进行循环遍历,最后根据分组条件添加到某个子集合中。Java 8 有了 Lambda(stream)代码简洁了许多,分组后往往还要跟着聚合操作,仍然需要单写聚合函数 sum(),count(*),topN()等。这些还都是最常规的分组和...

2018-12-06 14:20:35 287

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除