集成计算引擎在大型企业绩效考核系统的应用方案

前言 大型企业的绩效考核系统一直是一个难于稳定的系统,总是面临着没完没了的需求变化。就其原因主要是软件架构僵化,业务逻辑与数据耦合度过高,造成需求的任何一点修改,都要对整个应用进行伤筋动骨的改动。而一个高度可集成的专业数据计算引擎,可以从根本上解决这一问题。   解决方案   相关方...

2019-01-18 11:31:47

阅读数 68

评论数 0

Java 嵌入 SPL 轻松实现 Excel 文件合并

大多数JAVA程序猿都选择使用POI或者HSSFWorkbook等第三方类库来实现Excel自动化合并,这样一来不仅需要噼里啪啦的敲好多代码,费事费力,而且用起来灵活度也不高,对Excel的格式要求也很严格。如果能有一个专用的外部数据工具,写简单类似SQL的脚本来实现,然后在JAVA中直接调用并返...

2019-01-10 16:10:03

阅读数 35

评论数 0

体系结构方案 - 跨库数据运算

【摘要】 存在问题:跨库的数据汇总运算开发复杂、效率低。 产生的原因:单库的大表数据量巨大,条件限制又不能做分布式数据库,而大多数应用程序都严重依赖数据库的计算能力,但是跨库时数据库的计算能力常常不给力! 解决方案:建议采用专业计算引擎,不依赖于数据库的计算能力。降低跨库数据运算的开发复杂度、提升...

2019-01-10 15:48:31

阅读数 16

评论数 0

批量随机键值查询测试

【摘要】 当数据量巨大时,使用大批量随机键值集获取对应记录集合,不仅仅考验数据库软件本身,更在于程序员对数据的理解!如何在硬件资源有限的情况下将性能发挥到极致?点击:批量随机键值查询测试,来乾学院一探究竟! 本次测试主要针对集算器组表索引实现的批量键值取数性能,并与 Oracle 进行同规模运算...

2019-01-10 15:33:59

阅读数 24

评论数 0

SQL 难点解决:集合及行号

【摘要】 SQL 虽然有集合概念,但对于集合运算、特别是有序集合运算,提供的支持却很有限,经常要采用很费解的思路才能完成,计算效率也不佳。而集算器 SPL 在方面则要直观许多,可以按自然思维习惯写出运算。这里对 SQL 和集算器 SPL 在集合运算和行号相关运算方面进行了对比,如果需要了解更多,请...

2019-01-10 15:28:50

阅读数 20

评论数 0

模拟测试数据的生成方法

【摘要】 许多程序员都头疼测试数据的模拟,一个是要逼真,另一个需要数据量,不逼真往往导致一些 bug 测不出来,数据量不够则无法发现性能问题,这篇文章给出了很好的解决办法。 1)、应用系统或软件产品一般都需要进行不同阶段的验证工作,包括原型功能论证、功能测试、性能测试等,这些测试、论证场景都可能涉...

2019-01-10 15:00:41

阅读数 80

评论数 0

车险往年保单关联计算的性能优化

【摘要】 保险行业计算车险往年保单,需要按照车辆 vin 码、车架号、牌照种类和牌照号等多字段关联,涉及到几千万甚至上亿的大表,用存储过程计算非常耗时。点击车险往年保单关联计算的性能优化,去乾学院看看集算器如何把几个小时的计算缩短到十几分钟! 问题的提出 保险行业中,往往需要根据往年保单来快...

2019-01-10 14:27:38

阅读数 56

评论数 0

简化 MongoDB 关联运算

【摘要】         MongoDB提供的 lookup 对多表关联实现了基本的支持,但面对一些比较复杂的关联情况,往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言,则因其离散性、易用性恰好能弥补 Mongo 这方面的不足。若想了解更多,请前往乾学院:简化 MongoDB ...

2018-12-24 17:42:16

阅读数 48

评论数 1

数据脱敏的处理方法及查询

【摘要】 关键词:集算器、SPL、数据脱敏、报表 1)、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需...

2018-12-24 17:37:05

阅读数 229

评论数 0

体系结构方案 -BI 系统的前置计算

【摘要】 存在问题:BI 系统后台计算由中央分布式数据仓库(MPP)实现,性能不佳,导致交互式多维分析响应迟钝。 产生的原因:中央数据仓库上挂数十个应用,计算负担太重! 解决方案:数据前置计算 / 缓冲层,由应用程序直接计算,不再请求中央数据仓库。 使用常规数据库实现前置计算的“烦恼”: 全量数据...

2018-12-13 15:18:43

阅读数 19

评论数 2

10 行代码提取复杂 Excel 数据

【摘要】   把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下,结构化的工作量会比较大,而且很难通用,每次都要针对文件格式进行分析后再进行开发。   集算器的 SPL 语...

2018-11-30 19:25:02

阅读数 43

评论数 0

用简单程序协助MySQL实现窗口函数

窗口函数是 SQL2003 标准才开始有的一系列 SQL 函数,用于应付一些复杂运算是比较方便。但是普遍使用的 MySQL 数据库对窗口函数支持得却很不好,直到最近的版本才开始有部分支持,这当然就让 MySQL 程序员很郁闷了。 实际操作中,我们可以在 MySQL 里用 SQL 拼出窗口函数功能...

2018-11-20 16:23:43

阅读数 29

评论数 0

如何用外部程序优化SQL语句中的IN和EXISTS

数据结构 IN 和 EXISTS 是 SQL 中常见的复杂条件,在将 SQL(存储过程)转换成库外计算获取高性能时也会面对这些问题。本文将以 TPC-H 定义的模型为基础,介绍如何用集算器的语法实现 IN、EXISTS 并做优化。 TPC-H 是 TPC 事务处理性能委员会制定的用于 OLAP...

2018-11-20 16:05:25

阅读数 37

评论数 0

给一句 SQL 就能做多维分析

【摘要】《把 Excel 透视表搬到 WEB 上》我们以 Excel 文件数据集为例,介绍了如何把 Excel 的数据透视表嵌入到俺的应用程序中。爱学习的同学会问了,Excel 数据透视表可以使用 Excel 里取到的任何数据,比如数据库取数,你们能直接从数据库取数做分析吗?Yes,I Can! ...

2018-11-20 15:45:59

阅读数 37

评论数 0

轻量级可嵌入多维分析后台

问题的提出 多维分析(BI)系统后台数据源通常有三种选择。一、普通数据库;二、专业数据仓库;三、BI 系统自带的数据源。 但是,这三种选择都有各自的问题。普通数据库一般都是行式存储,很难获得多维分析希望的高性能,只适用较小数据量。专业数据仓库有不少是列式存储的,性能问题不大,但是价格都比较昂贵...

2018-11-12 12:14:51

阅读数 22

评论数 0

如何优化多数据集关联报表

多数据集关联报表是很常见的报表形式,它允许开发者分别从不同的来源(表或数据库)分别准备数据形成不同的数据集,在报表端(模板)通过表达式描述数据集间的关系完成关联。这样可以避免在数据准备时写过于复杂的 SQL/ 存储过程,降低维护难度。尤其当报表数据来源于多个数据库时,多数据集的优势更加明显。 凡...

2018-11-12 11:42:52

阅读数 283

评论数 0

SQL 难点解决:序列生成

1、    生成连续整数序列 MySQL8:  with recursive t(n) as ( select 1 union all select n+1 from t where n<7 ) select * from t;   Oracle:select...

2018-11-12 11:19:59

阅读数 29

评论数 0

10 行代码解决漏斗转换计算之性能优化

大话数据计算性能优化   大数据分析的性能优化,说道底,就优化一个事情:针对确定的一个计算任务(数据确定,结果确定),以最经济的方案得到结果。 这个最经济的方案主要考量三个成本:时间成本、硬件成本、软件成本。 时间成本:根据计算任务的特点,能容忍的最长时间各不相同。那些 T+0 的计算任务...

2018-11-12 10:48:29

阅读数 64

评论数 0

轻量级内存计算引擎

内存计算指数据事先存储于内存,各步骤中间结果不落硬盘的计算方式,适合性能要求较高,并发较大的情况。   HANA、TimesTen等内存数据库可实现内存计算,但这类产品价格昂贵结构复杂实施困难,总体拥有成本较高。本文介绍的集算器同样可实现内存计算,而且结构简单实施方便,是一种轻量级内存计算引擎...

2018-11-09 17:30:13

阅读数 11

评论数 0

轻松应对多层JSON数据计算与入库

JSON作为一种轻量级的数据交换格式,因其易于读写和交互的特点,已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口,但是接下来如何把多层 JSON 数据经过筛选、计算并展开成二维数据,就需要开发人员去头疼了。本文就为大家分享一下如何利用集算器 SPL(结构化处理...

2018-10-15 15:09:57

阅读数 80

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭