10 行代码提取复杂 Excel 数据

【摘要】   把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下,结构化的工作量会比较大,而且很难通用,每次都要针对文件格式进行分析后再进行开发。   集算器的 SPL 语...

2018-11-30 19:25:02

阅读数:11

评论数:0

用简单程序协助MySQL实现窗口函数

窗口函数是 SQL2003 标准才开始有的一系列 SQL 函数,用于应付一些复杂运算是比较方便。但是普遍使用的 MySQL 数据库对窗口函数支持得却很不好,直到最近的版本才开始有部分支持,这当然就让 MySQL 程序员很郁闷了。 实际操作中,我们可以在 MySQL 里用 SQL 拼出窗口函数功能...

2018-11-20 16:23:43

阅读数:18

评论数:0

如何用外部程序优化SQL语句中的IN和EXISTS

数据结构 IN 和 EXISTS 是 SQL 中常见的复杂条件,在将 SQL(存储过程)转换成库外计算获取高性能时也会面对这些问题。本文将以 TPC-H 定义的模型为基础,介绍如何用集算器的语法实现 IN、EXISTS 并做优化。 TPC-H 是 TPC 事务处理性能委员会制定的用于 OLAP...

2018-11-20 16:05:25

阅读数:28

评论数:0

自动导出 Excel 的利器

有时我们需要用程序来自动生成 Excel 文件,但 Excel 本身带的 VBA 并不好用,而集算器作为数据处理工具实现这个需求就会方便很多。本文将介绍如何用集算器生成 Excel 文件,而集算器本身强大的数据计算能力不是本文重点,因此文中只是简单地用文本作为数据源举例,实际应用中可能会从各种各样...

2018-11-20 15:55:16

阅读数:37

评论数:0

给一句 SQL 就能做多维分析

【摘要】《把 Excel 透视表搬到 WEB 上》我们以 Excel 文件数据集为例,介绍了如何把 Excel 的数据透视表嵌入到俺的应用程序中。爱学习的同学会问了,Excel 数据透视表可以使用 Excel 里取到的任何数据,比如数据库取数,你们能直接从数据库取数做分析吗?Yes,I Can! ...

2018-11-20 15:45:59

阅读数:24

评论数:0

实现报表的可控缓存

【摘要】 使用缓存可以提升报表性能是不争的事实,一般高端报表工具都会提供报表缓存功能,可将整个报表计算结果缓存在文件系统中,以便用户下次访问相同参数的报表时可以快速读取缓存结果进行展现。但有些情况下报表开发人员还希望对缓存的内容进行更准确和灵活的控制,比如缓存的不是整个报表结果而是其中一部分、缓...

2018-11-20 15:33:21

阅读数:18

评论数:0

轻量级可嵌入多维分析后台

问题的提出 多维分析(BI)系统后台数据源通常有三种选择。一、普通数据库;二、专业数据仓库;三、BI 系统自带的数据源。 但是,这三种选择都有各自的问题。普通数据库一般都是行式存储,很难获得多维分析希望的高性能,只适用较小数据量。专业数据仓库有不少是列式存储的,性能问题不大,但是价格都比较昂贵...

2018-11-12 12:14:51

阅读数:18

评论数:0

用计算路由的方法优化BI后台性能

问题的提出 BI 系统的常见结构是:前端是 BI 应用,负责多维分析的用户操作和结果呈现;后台是数据库 / 数据仓库,负责数据计算和存储。前端和后台之间用 SQL 作为接口。 实际应用中,常常出现后台数据仓库压力过重的问题。问题表现为前端响应时间过长,数据仓库反应速度变慢。 常见的解决方案是...

2018-11-12 11:57:28

阅读数:44

评论数:0

如何优化多数据集关联报表

多数据集关联报表是很常见的报表形式,它允许开发者分别从不同的来源(表或数据库)分别准备数据形成不同的数据集,在报表端(模板)通过表达式描述数据集间的关系完成关联。这样可以避免在数据准备时写过于复杂的 SQL/ 存储过程,降低维护难度。尤其当报表数据来源于多个数据库时,多数据集的优势更加明显。 凡...

2018-11-12 11:42:52

阅读数:239

评论数:0

基于文件系统实现可追加的数据集市

一 问题背景   绝大多数的应用系统中,一开始数据的存储和计算基本都是由数据库来完成的,同时服务于业务交易和报表查询;不过在经过几年信息化建设和数据积累后,常常都会遇到数据库压力变大,从而导致性能瓶颈的问题。 究其原因,往往发现针对历史数据查询的报表在其中占了很大比重。进一步分析会发现,这类...

2018-11-09 18:05:23

阅读数:42

评论数:0

学会这些“套路”,excel 合并汇总都不是事

1.  问题背景   在日常工作中我们经常遇到具有相同表头的 Excel 文件,需要将它们合并到同一个工作表中再进行分析。当文件比较多时,手工合并表格通常是件很麻烦的事情,而如果数据量很大,用 Excel 自带的 VBA 来处理也会经常卡死。今天我就来分享一个专业的外部数据工具——集算器,掌握...

2018-11-09 17:52:12

阅读数:24

评论数:0

让Birt报表脚本数据源变得既简单又强大

概述:运行在 JVM 上的 SQL 函数和存储过程 总所周知,有些数据库没有强大的分析函数(eg. Mysql), 有些数据库没有存储过程(eg. Vertica),当遇到复杂的数据计算,往往只能通过 Python,R 等外部脚本来实现,但这些脚本语言和主流工程语言(Java)集成性不好,如果直...

2018-10-29 15:37:00

阅读数:15

评论数:0

跨库数据表的运算

1.    简单合并(FROM)        所谓跨库数据表,是指逻辑上同一张数据表被分别存储在不同数据库中。其原因有可能是因为数据量太大,放在一个数据库难以处理,也可能在业务上就需要将生产库和历史库分开。而不同的数据库,可能只是部署在不同的机器上的同种数据库,也可能是连类型都不同的数据库系统...

2018-10-29 15:11:41

阅读数:26

评论数:0

百万级分组大报表开发与呈现

在《秒级展现的百万级大清单报表怎么做》中,我们介绍了无论 RDB 还是非 RDB,润乾报表都能够通过异步线程实现秒级海量大清单报表(以下简称:大报表)。实际业务中,除了查询明细,有时还要展现全量汇总数据,或者查询分组明细和计算分组汇总。本文就将介绍这些带有汇总和分组的大报表的开发方法。   带...

2018-10-29 15:06:15

阅读数:14

评论数:0

如何处理报表中的舍位平衡

在报表的数据统计中,常常会根据精度呈现或者单位换算等要求,需要对数据执行四舍五入的操作,这种操作称为舍位处理。简单直接的舍位处理有可能会带来隐患,原本平衡的数据关系可能会被打破。   为了保证报表中数据关系的正确,就需要调整舍位之后的数据,使得数据重新变得平衡,这样的调整就叫做舍位平衡。在这里...

2018-10-29 11:58:00

阅读数:68

评论数:0

如何协助 MySQL 实现 Oracle 高级分析函数

Oracle 支持一些独特的语法和函数,在移植到 MySQL 上时或多或少给程序员造成了困扰,下面我们针对 Oracle 的一些特殊用法举例并讲解如何用集算器来完成同样功能。这些方法当然也不限于针对 MySQL,对于所有其它数据库也能支持。   1、         递归语句 a)     ...

2018-10-29 11:49:12

阅读数:7

评论数:0

多层科目任意组合汇总报表的性能优化 (下)

2.4 有序计算方案 在充分利用遍历一次的特点进行优化后,可能我们还会觉得计算性能有点慢,希望有进一步优化的空间。由于每次只需要取出总数据量的很小一部分 (100 个指标涉及的所有科目号大概几百个,即在几百万记录中取几百条),这时我们通常能想到的是:如果能利用数据有序直接进行有序查找(若源数据有...

2018-10-29 11:40:15

阅读数:22

评论数:0

多层科目任意组合汇总报表的性能优化 (上)

一 问题背景 我们先来看一张资产负债表: 这是一个典型的中国式复杂报表格式,其复杂并不在于布局,而在于其中“期末余额”的每个单元格都是一个需要独立计算的指标,互相之间几乎没有关系,事实上就是一个各种指标的汇总清单,而这些指标往往会有上百个之多。 在源数据表结构中,有一个字段称为科目,其长...

2018-10-29 11:26:00

阅读数:27

评论数:0

多行日志合并处理的内外存方法

上一讲中,我们介绍了如何用SPL将一行日志结构化为一条记录,今天则要说一下多行日志对应一条记录的情况,我们称之为不定行日志。   事实上,集算器自己的输出日志就是这种不定行日志,我们来看一下集算器节点机下的一个日志文件rqlog. log,同样摘录两段日志: [2018-05-14 09:2...

2018-10-15 15:28:36

阅读数:33

评论数:0

优化Join运算的系列方法(3)

5 综合案例 实际业务中,多表关联运算十分常见,外键表、同维表、主子表这几种关联类型可能会混合出现。下面我们来看一个综合案例。 5.1 表结构和查询目标 某电商平台中和订单编号这个字段相关的有6个表,主要表结构如下: 订单表 订单明细表 ...

2018-10-15 15:24:00

阅读数:15

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭