Raqsoft

RSS订阅
排序：
默认
按更新时间
按访问量

原 实时报表 T+0 的实现方案

【摘要】 基于数据库系统的 T+0 全量实时查询，在数据量很大时一般只能进行数据库扩容（包括分库手段），成本高昂；如果采用文件系统和生产数据库混合运算，就可以实现低成本高性能的 T+0 查询，而热导出机制则是这个方案的基础！ 一 问题背景 在报表的应用系统中，用户越来越关注数据的实时性，希望最...

2018-12-06 15:54:14

阅读数：83

评论数：0

原 玩转Mongo计算

MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言...

2018-12-06 15:34:42

阅读数：47

评论数：0

原 Java 嵌入 SPL 轻松实现数据分组

问题介绍 要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算，是比较繁琐的，通常先要声明数据结构（Java 实体类），然后用 Java 集合进行循环遍历，最后根据分组条件添加到某个子集合中。Java 8 有了 Lambda（stream）代码简洁了许多，分组后往往还要跟着...

2018-12-06 14:20:35

阅读数：25

评论数：0

原 10 行代码提取复杂 Excel 数据

【摘要】 　　把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下，结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。 　　集算器的 SPL 语...

2018-11-30 19:25:02

阅读数：10

评论数：0

原 用简单程序协助MySQL实现窗口函数

窗口函数是 SQL2003 标准才开始有的一系列 SQL 函数，用于应付一些复杂运算是比较方便。但是普遍使用的 MySQL 数据库对窗口函数支持得却很不好，直到最近的版本才开始有部分支持，这当然就让 MySQL 程序员很郁闷了。 实际操作中，我们可以在 MySQL 里用 SQL 拼出窗口函数功能...

2018-11-20 16:23:43

阅读数：16

评论数：0

原 如何用外部程序优化SQL语句中的IN和EXISTS

数据结构 IN 和 EXISTS 是 SQL 中常见的复杂条件，在将 SQL（存储过程）转换成库外计算获取高性能时也会面对这些问题。本文将以 TPC-H 定义的模型为基础，介绍如何用集算器的语法实现 IN、EXISTS 并做优化。 TPC-H 是 TPC 事务处理性能委员会制定的用于 OLAP...

2018-11-20 16:05:25

阅读数：26

评论数：0

原 自动导出 Excel 的利器

有时我们需要用程序来自动生成 Excel 文件，但 Excel 本身带的 VBA 并不好用，而集算器作为数据处理工具实现这个需求就会方便很多。本文将介绍如何用集算器生成 Excel 文件，而集算器本身强大的数据计算能力不是本文重点，因此文中只是简单地用文本作为数据源举例，实际应用中可能会从各种各样...

2018-11-20 15:55:16

阅读数：35

评论数：0

原 给一句 SQL 就能做多维分析

【摘要】《把 Excel 透视表搬到 WEB 上》我们以 Excel 文件数据集为例，介绍了如何把 Excel 的数据透视表嵌入到俺的应用程序中。爱学习的同学会问了，Excel 数据透视表可以使用 Excel 里取到的任何数据，比如数据库取数，你们能直接从数据库取数做分析吗？Yes，I Can! ...

2018-11-20 15:45:59

阅读数：22

评论数：0

原 实现报表的可控缓存

【摘要】 使用缓存可以提升报表性能是不争的事实，一般高端报表工具都会提供报表缓存功能，可将整个报表计算结果缓存在文件系统中，以便用户下次访问相同参数的报表时可以快速读取缓存结果进行展现。但有些情况下报表开发人员还希望对缓存的内容进行更准确和灵活的控制，比如缓存的不是整个报表结果而是其中一部分、缓...

2018-11-20 15:33:21

阅读数：16

评论数：0

原 轻量级可嵌入多维分析后台

问题的提出 多维分析（BI）系统后台数据源通常有三种选择。一、普通数据库；二、专业数据仓库；三、BI 系统自带的数据源。 但是，这三种选择都有各自的问题。普通数据库一般都是行式存储，很难获得多维分析希望的高性能，只适用较小数据量。专业数据仓库有不少是列式存储的，性能问题不大，但是价格都比较昂贵...

2018-11-12 12:14:51

阅读数：16

评论数：0

原 用计算路由的方法优化BI后台性能

问题的提出 BI 系统的常见结构是：前端是 BI 应用，负责多维分析的用户操作和结果呈现；后台是数据库 / 数据仓库，负责数据计算和存储。前端和后台之间用 SQL 作为接口。 实际应用中，常常出现后台数据仓库压力过重的问题。问题表现为前端响应时间过长，数据仓库反应速度变慢。 常见的解决方案是...

2018-11-12 11:57:28

阅读数：42

评论数：0

原 如何优化多数据集关联报表

多数据集关联报表是很常见的报表形式，它允许开发者分别从不同的来源（表或数据库）分别准备数据形成不同的数据集，在报表端（模板）通过表达式描述数据集间的关系完成关联。这样可以避免在数据准备时写过于复杂的 SQL/ 存储过程，降低维护难度。尤其当报表数据来源于多个数据库时，多数据集的优势更加明显。 凡...

2018-11-12 11:42:52

阅读数：235

评论数：0

原 SQL 难点解决：序列生成

1、    生成连续整数序列 MySQL8:  with recursive t(n) as ( select 1 union all select n+1 from t where n<7 ) select * from t;   Oracle：select...

2018-11-12 11:19:59

阅读数：8

评论数：0

原 10 行代码解决漏斗转换计算之性能优化

大话数据计算性能优化   大数据分析的性能优化，说道底，就优化一个事情：针对确定的一个计算任务（数据确定，结果确定），以最经济的方案得到结果。 这个最经济的方案主要考量三个成本：时间成本、硬件成本、软件成本。 时间成本：根据计算任务的特点，能容忍的最长时间各不相同。那些 T+0 的计算任务...

2018-11-12 10:48:29

阅读数：53

评论数：0

原 基于文件系统实现可追加的数据集市

一 问题背景   绝大多数的应用系统中，一开始数据的存储和计算基本都是由数据库来完成的，同时服务于业务交易和报表查询；不过在经过几年信息化建设和数据积累后，常常都会遇到数据库压力变大，从而导致性能瓶颈的问题。 究其原因，往往发现针对历史数据查询的报表在其中占了很大比重。进一步分析会发现，这类...

2018-11-09 18:05:23

阅读数：40

评论数：0

原 学会这些“套路”，excel 合并汇总都不是事

1.  问题背景   在日常工作中我们经常遇到具有相同表头的 Excel 文件，需要将它们合并到同一个工作表中再进行分析。当文件比较多时，手工合并表格通常是件很麻烦的事情，而如果数据量很大，用 Excel 自带的 VBA 来处理也会经常卡死。今天我就来分享一个专业的外部数据工具——集算器，掌握...

2018-11-09 17:52:12

阅读数：21

评论数：0

原 轻量级内存计算引擎

内存计算指数据事先存储于内存，各步骤中间结果不落硬盘的计算方式，适合性能要求较高，并发较大的情况。   HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种轻量级内存计算引擎...

2018-11-09 17:30:13

阅读数：7

评论数：0

原 国内性价比最高的报表工具套件

废话少说，6句话了解这套报表工具。 中式报表的先行者，完美创造实现非线性模型。 自助报表的活雷锋，免费开源拖拖拽拽不用愁。 填报报表的终结者，凭他是技术填报业务填报。 普通报表的连接器，数据开发和数据展现分离。 复杂报表的工具箱，自定义数据集从此变简单。 低速报表的加速器，多种手段感受...

2018-11-05 09:55:02

阅读数：144

评论数：0

原 数据计算中间件技术综述

传统企业大数据架构的问题   上图是大家都很熟悉的基于 Hadoop 体系的开源大数据架构图。在这个架构中，大致可以分成三层。最下一层是数据采集，通常会采用 kafka 或者 Flume 将 web 日志通过消息队列传送到存储层或者计算层。对于数据存储，目前 Apache 社区提供了多种存储...

2018-10-29 15:42:26

阅读数：19

评论数：0

原 让Birt报表脚本数据源变得既简单又强大

概述：运行在 JVM 上的 SQL 函数和存储过程 总所周知，有些数据库没有强大的分析函数（eg. Mysql）, 有些数据库没有存储过程（eg. Vertica），当遇到复杂的数据计算，往往只能通过 Python,R 等外部脚本来实现，但这些脚本语言和主流工程语言（Java）集成性不好，如果直...

2018-10-29 15:37:00

阅读数：14

评论数：0

提示
确定要删除当前文章？
取消 删除
关闭
关闭