- 博客(10)
- 收藏
- 关注
RSS订阅原创 MongoDB 分组统计
【摘要】 MongoDB 在进行分组统计时如果面对一些比较复杂的计算情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其有丰富的函数库及易用性恰好能弥补 Mongo 这方面的不足。若想了解更多，请前往乾学院：MongoDB 分组统计! MongoDB 作为 NoSql 文档型数据库，在全球范围得到广泛的支持与应用。在比较常用的数据库功能中，...
2019-02-11 16:35:24
16008
1
原创 Java 搞定 SQL 集合运算的最简方法
问题介绍 作为 java 程序员，用代码直接实现类似 SQL 中的交并补差的集合运算，总是要编写大量的代码，如果能有一个专门的外部数据工具，通过写简单类似 SQL 的脚本来实现，在 java 中直接调用并可以返回结果集，就再好不过了。Java 版集算器正是解决这一难题的神器，通过 SPL 脚本可以直观自然得写出运算，再使用 java 调用 SPL 脚本，使用起来简单，快捷，高效。另外，虽然 ...
2019-02-11 16:14:48
727
原创 复杂 Excel 表格导入导出的最简方法
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用POI或者HSSFWorkbook等第三方类库来实现，通常都要硬编码，如果碰到格式复杂的表格，解析工作量还会成倍增加，Java没有表格对象，总要利用集合加实体类去实现，导致代码冗长、不通用。集算器的 SPL 是...
2019-02-11 15:56:11
14481
2
原创 应用结构：可编程数据网关
前言访问多个异构数据源是大型企业应用软件非常常见的需求，人们也开发出了很多办法试图解决这个困难问题，但是这些办法往往都只是对某一种特定的场景，一直都没有异构特别理想的通用解决方案。今天，我们借鉴网络路由技术的思路，提出了一种全新的基于集算器的可编程数据网关解决方案，相对完美低解决了这个问题。 解决方案 相关方案下载：集算器之可编程数据网关.pd...
2019-02-01 15:24:38
315
原创 体系结构方案 - 文件型数据仓库 / 集市
【摘要】传统关系型数据仓库的问题包括：成本高、计算封闭、性能差、管理难。那么，关系数据仓库问题多，为什么还要用呢？为什么不直接使用文件系统存储？我们为什么需要一种文件型数据仓库 / 集市！！！去乾学院看个究竟吧！ 体系结构方案 - 文件型数据仓库 / 集市 文件型数据仓库 / 集市【附件下载：】体系结构方案 - 文件型数据仓库 / 集市.pdf...
2019-02-01 15:20:34
172
原创 利用有序高效实施交并差集合运算
【摘要】 看起来很简单的集合运算放在大数据的场景下，如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法。充分利用序运算就是一种好办法！ 交并差是常见的集合运算，SQL 中对应的 intersect/union/minus 计算也很简单。不过当数据量较大时，这类集合运算性能往往偏低，尤其当参与计算的数据量超过内存容量时，性能表现会十分糟糕。 ...
2019-02-01 15:07:20
285
原创 报表性能优化
【摘要】报表性能对用户的影响十分恶劣，所有用户查报表时都希望立等可取，超过 5 秒钟用户就会很不满意，更别提要求毫秒级响应的情况了。引起报表性能的原因有很多（数据量大、计算复杂、报表格式混乱），绝大部分是因为计算引起的，如果能将展现的数据能快速准备好，呈现的速度是飞快的！因此，解决报表性能问题的关键是报表数据准备！ ...
2019-02-01 15:00:08
2462
原创 大主子表关联的性能优化方法
【摘要】主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量较大时，关联计算的性能将急剧降低，在增加服务器负载的同时严重影响用户体验。作为面向过程的结构化数据计算语言，集算器 SPL 可通过有序归并的方法，显著提升大主子表关联计算的性能。 下面就来乾学院一探究竟：大...
2019-02-01 14:34:30
1412
原创 优化体系结构 - 数据外置减少中间表
【摘要】由于数据量或计算复杂度原因，经常需要在数据库中创建中间表，但中间表会带来很多问题！若采用专业的数据计算引擎，又会带来怎样的好处呢？去乾学院看个究竟吧！优化体系结构 - 数据外置减少中间表【下载附件】优化体系结构 - 数据外置减少中间表...
2019-02-01 14:21:45
256
原创 优化体系结构 - 解决多样性数据源
【摘要】多样性数据源普遍存在，且本身没有计算能力，常规手段总是需要建设专门的数据仓库及 ETL 转入工作，增加额外工作量，且实时性也不好。若采用专业的数据计算引擎，这些不足将迎刃而解！去乾学院看个究竟吧！优化体系结构 - 解决多样性数据源【下载附件】优化体系结构 - 多样性数据源...
2019-02-01 13:43:31
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人