biandu6748的博客

转载 木槿生活数据平台案例

转载 SPL 教案——分组

转载 集算器助力 ireport

在使用 Jasper 报表工具制作报表时，常常会遇到数据来自多个数据源的情况，通常的做法是使用主子报表或者使用javabean作为数据源。使用主子报表通常会增加报表设计的复杂度，而使用javabean做数据源，则需要一个javabean类来支持，并且为了在设计报表时能够看到数据，还要为ireport提供一个静态方法，该方法用于返回上面定义javabean的一个结果集。显然，上...

转载 结构化文本计算示例（一）

结构化文本是很常见的文件格式，对结构化文本的计算也是很常见的需求。在实现这种计算时，一种很容易想到的办法是将文件导入数据库后再计算，但这会消耗大量时间以及昂贵的数据库资源，而且有的场合下并没有合适的数据库可用。这样一来，我们就会有一个自然的想法，如果能够直接计算就会方便多了。可惜的是，一般高级语言都没有提供针对结构化文本的基本运算类库，而想要通过硬编码完成这些运算又非常繁琐，...

转载 SPL 简化 SQL 案例详解：固定分组

在数据库应用开发中，我们经常需要面对复杂的SQL式计算，固定分组就是其中一种。固定分组的分组依据不在待分组的数据中，而是来自于外部，比如另一张表、外部参数、条件列表等。对于特定类型的固定分组，用SQL实现还算简单（比如：分组依据来自另一张表，且对分组次序没有要求），但对于比较通用、灵活的要求，实现起来就困难了。而对于SPL来说，完全可以轻松解决固定分组中的各类难题，下面就用几...

转载 SPL 简化 SQL 案例详解：组内运算

在开发数据库应用时，经常在分组后需要对组内数据进行计算，例如：列出近3年每年都发表过论文的学生名单（按论文发表年分组后列出每年都出现的学生清单），统计全部参加了历次培训的员工（按培训分组后统计每次都有的员工人数），选出每位客户的高尔夫成绩最高的三天（按客户分组后按天计算成绩的Top3）等等。对于SQL来说，完成这类运算一般较为复杂，需要嵌套多层，往往导致代码难以理解和维护困难...

转载 合并 mongodb 子文档

来源：https://groups.google.com/forum/#!topic/mongodb-user/BpgEaRqrKsA【摘要】Mongodb 的 BSON 存储格式灵活多样，有助于 MongoDB 的入门学习。有集算器 SPL 语言支持后，Mongodb 能实现像数据 SQL 那样的方便查询。复制摘要MongoDB文档的存储格式...

转载 如何利用索引提高性能

在关系数据库中，表中数据普遍以无序的状态存储在磁盘上，在没有相应索引时，若要对表中数据进行查询，就只能全表检索，将所有记录挨个读取，然后和查询条件进行比较，显然，这种方式会导致大量的磁盘 I/O 操作和 CPU 计算，消耗大量的系统时间，因此，建立索引就成了一个必须考虑的选项。使用 CREATE INDEX [索引名] on 表名 (列名，……) 语句可以为表中数据建立最常用...

转载 Java 如何远程调用 SPL 脚本

在《Java 如何调用 SPL 脚本》中我们介绍了在 Java 中可以部署集算器 JDBC 来调用本地 SPL 脚本，那如何能在 Java 中远程调用 SPL 脚本呢？这就是接下来要说的重点！实现思路通过下图一目了然：部署服务器服务器是运行在 Java 平台上面向分析型的高性能数据库，作为高性能计算数据仓库，服务器可以在离线跑批、在线查询、多维分析和内存计算等方面提供高效的计...

转载 Mac 环境中部署集算器

集算器产品在润乾官网中的安装包下载地址为：http://www.raqsoft.com.cn/download/download-jsq其中，通过点击 下载的后缀为 tar.gz 的安装包，可应用于 Linux 环境及 Mac 环境，安装包中包含集算器 IDE 设计器、数据存储服务、节点机服务、HTTP 服务、ODBC 服务、HSQL 示例数据库。下面介绍集算器在 Mac...

转载 SPL 简化 SQL 案例详解：行间计算

在数据库应用开发中，我们经常需要面对复杂的SQL计算，行间计算就是其中一种。比如：用每月的销售额除以上月的销售额，求比上期，或用每月销售额除以去年同月的销售额，求同期比。有些数据库系统没有提供SQL2003标准的窗口函数，或者支持得不完备，那么完成行间计算就需要改变思路，使用连接（join）运算替代，不仅难以理解而且运算效率低下。即使可以使用窗口函数，计算时仍要面临嵌套子查询...

转载 SPL 简化 SQL 案例详解：计算各组前 N 行

取出各组的前N行数据是较常见的运算，比如：每个月每种产品销量最高的五天是哪五天，每位员工涨薪最多的一次是哪次，高尔夫会员成绩最差的三次是哪三次，等等。在SQL中，这类运算要用窗口函数以及keep/top/rownumber等高级技巧来间接处理，代码难度较大。而且许多数据库（如MySQL）还没有这些高级功能，就只能用更复杂的JOIN语句和嵌套的子查询来实现了。如果还涉及多层分组...

转载 SPL 教案——有序

转载 SPL 教案——集合

转载 性能优化教案—查找

点击下载 PDF

转载 Docker 用户操作使用说明

用户登录 Client 端1. 登录Client 端访问 Server 端，在集算器中，菜单工具－＞docker 登陆，登出。IP：对应多台物理机时，IP 为入口物理机 IP端口：配置 Docker_server 时标签对应的端口号用户名和密码：要求和 IP 对应2．Client 端调用 Server 端在介绍 Server 端配置 docker_user.xml 用户管理时...

转载 Docker 管理员操作使用说明

1 模块一：Docker 和集算器结合1.1 Docker 和集算器结合概述将集算器的群集和 docker 结合可以进行高效的运算、合理的资源分配与管理。结合以后结构分成两部分： Server 端和 Client 端； Docker Server 端目前只能在 Linux 中使用。1.2 Docker 端口我们需要了解的是 Docker 管理涉及到三个端口：通信端口、映射外部...

转载 详谈转置 pivot

问题概要  在日常工作中时常会遇到将数据表的行列进行转换的问题。SQL 提供了静态转置的功能 pivot 和 unpivot，但适用范围很受限，要用 SQL 实现一些比较复杂的转置功能常常会遇到语句过于复杂的问题，而且缺少一个标准的解决思路。而集算器的 SPL 语言，则因其语法的灵活和函数库的丰富，可以完美地弥补 SQL 在这方面的不足。  下面则通过实例详细阐述一下转置功能...

转载 轻量级高性能多维分析套件

什么是轻量级？抛开技术术语，从效果上看就是为了实现操作目的，使用更轻便、更省时的方法；那么什么是高性能呢？最直接的说法就是比常用方法更加高效、更快。下面就来介绍润乾提供的这一套轻量级、高性能的多维分析套件。轻量级的准确含义，是相对于重量级框架而言的一种程序设计模式。轻量级的优点在于对容器没有依赖性，易于配置，更加通用，启动时间较短，并能充分减少开发复杂度；而高性能，则是指相...

转载 SPL 的序号思维及定位计算

SPL中的集合都是有序的，可以用序号来引用成员，灵活运用序号可以使运算更为简捷高效。1 成员访问SPL的某些函数中可以使用序号或序号数列作为参数，最简单的应用是直接用序号访问成员，这和一般编程语言中的数组类似。A1[1,3,5,7,9]2=A1(1)3=A1(3)4>A1(2)=45>A1(4)=8A2与A3从序列中获取指定位置的成员，位置序号是从1开始的，结果如...

转载 SPL 的日期时间函数

在数据分析计算中，日期时间类数据是比较特殊的类型，这里我们就来研究一下如何在SPL中使用日期时间类数据。1日期时间数据的转换和生成日期时间类数据，通常会用字符串来输入或显示。在使用集算器时，可以点击Tool>Option，在选项配置的Environment页面中，设定日期时间类型数据所使用的默认格式，如：使用SPL时，日期时间类型的数据会按照默认的格式显示出来，如：A1...

转载 银行业大数据量清单报表案例

银行数据查询业务中，经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛，因此会从数据库中查出几百上千万甚至过亿行的记录，比如银行流水记录；为了避免内存溢出，一般都会使用关系型数据库的分页机制来做，但结果往往也不尽人意；有些情况下甚至底层采用了非关系型数据库，这更会加剧了问题的复杂度。针对这类场景，集算器能够给你一份满意的答卷！ ...

转载 产权交易所统一数据集市案例

随着产权交易所业务的发展和 IT 系统的建设，出现了多个系统同时运行，互不连通的问题。由于新老系统采用独立的数据库存储，数据格式、标准、规范都不相同，跨源计算变成了一大难题，常见办法是搭建前置数据库实现统一存储和计算，但改造和开发成本过高，且让管理和后期维护变得复杂！如何以更低成本、更小代价应对以上问题？本文揭晓答案。 ...

转载 银行柜员绩效考核案例

商业银行对员工的绩效考核标准一般分为 4 个方面：柜员的销售业务量、客户服务、内部流程、学习成长等。一般本质上具有如下特征：多样性数据源，数据来自银行的多个业务系统定时推送的文件数据；计算指标变化快，随业务种类或时间段采用不同的计分规则体系。如何提高开发效率，建立长期有效的机制应对业务规则的不稳定性，是决策者非常关注的问题。 ...

转载 零售行业数据平台案例

零售行业门店多、客户多、库存多，经常面临的问题：1、各个业务系统之间彼此不相关联，造成信息孤岛，很难从数据中发现隐藏的问题或商机。2、日积月累，报表查询越来越慢，甚至影响业务，如市场营销、数据整理再汇报。3、维护报表数量多，随着零售行业业务种类的不断丰富，报表数量还在不断增加。如何低成本的应对以上窘迫，该案例中可探索详细答案。 ...

转载 解决 Jasper 等报表工具制作报表中的几个难题

在制作业务报表时，经常会遇到一些单独依靠报表工具难以解决的问题。本文将针对几个 Jasper 报表工具用户在国外论坛中提出的现实问题，介绍如何用集算器 SPL 语言加以解决的方案。这里的解决方案其实并不仅适用于 Jasper，对其它报表工具也同样适用。1. 计算账户各期余额数据文件 data.csv 存储着某账户各期资金存取情况，在已知账户初始余额为 43 的情...

转载 SPL 简化 SQL 案例详解：分组关联

在数据库应用开发中，我们经常需要面对复杂的SQL式计算，比如多层分组中的关联计算。在SQL中，分组必须同时进行汇总计算，并且不能进行对象式关联访问，因此处理这类问题会比较复杂，只能用窗口函数嵌套多层子查询这类高级技巧来实现。而本文要介绍的SPL能够支持真正的分组，进行直观的对象式关联访问，从而解决这类问题更加容易。分组关联在实际业务中遇到的很多，下面以实际业务为蓝本设计一个比...

转载 mongodb 分组 topN

在统计应用项目中，我们经常会遇到这样的需求：将大量的对象进行排序，然后只需要取出前 N 名作为排行榜的数据，这就是 TopN 算法。mongodb作为nosql数据库的典型代表，能够存储海量数据，在使用过程中也经常会遇到TopN的需求，例如将需要字段的最新数据从mongodb中获取出来。下面就使用集算器 SPL 语言操作，通过案例分析如何实现上述功能。...

转载 SPL 简化 SQL 案例详解：多级关联

在数据库应用开发中，我们经常需要面对复杂的SQL式计算，多级关联就是其中一种。SQL的join语句比较抽象，只适合表达简单的关联关系，一旦关联的层级较多，相应的代码就会变得非常复杂。而SPL则可以利用对象引用来表达关联关系，从而使代码更加直观，下面就用一个例子来加以说明。表channel存储着某网站所有的频道及其上级频道的对应关系，分别用ID和PARENT字段来表示，最多四级...

转载 SPL 分组优化技巧

1. 常规分组当分组聚合的结果集不大时，可以使用groups。例如有学生成绩表存储在集文件中，表结构如下：ScoresclassstudentIDsubjectscore……现在计算每个学生的总分数：A1=file("scores.btx").import@b()2=A1.groups(studentID; sum(score):TotalScore)A1：成...

转载 Birt 如何实现不规则月份统计

集算器实现 Birt 等报表工具中不规则月份统计业务报表中，常常需要基于时间段进行分组统计，特别是按月份分组统计。一般情况如果按自然月就简单了，但有时候也会需要按不规则月份来分组。例如，某企业从 1 月 16 日开始实行某种特殊的价格策略或营销活动，因此以后都想以每月 16 号为界来统计产品销售情况。这里所谓不规则月份就是指： 如果起始时间是 2013-01-16，则...

转载 提效报表开发的通用工具

报表是很多 web 应用系统不可缺少的模块，仍然是绝大多数 BI 项目的基础功能。随着数据时代的到来，数据来源越来越多样 (text,excel,monogdb,redis,es…)，为报表数据准备带来了挑战，传统做法还是先将库外数据到数据库里，再利用数据库的计算能力（写 SQL 或存储过程）为报表准备数据。因依赖前置导入，报表实时性得不到保障，报表开发流程也被拉长，随着报表...

转载 解决 Birt 等报表工具制作报表的几个难题

解决Birt等报表工具制作报表的几个难题在上一篇《Birt 如何实现不规则月份统计》中，我们讲解了如何帮助 Birt 制作这种报表的详细过程，在本文中我们再继续讨论几个类似的制作难题，并把说明集中在如何编写集算器 SPL 脚本上，不再赘述如何在 Birt 中引入 SPL 的步骤了。1. 组内跨行计算组内跨行计算是指在计算一行中某个计算列的值时，需要引用到组内其它...

转载 比较 csv 文件中数据差异

csv文件存储数据时在结构上基本和一个数据库表相当，不过因为读写方便，所以使用频率很高，例如输出一些临时结果，或者持续记录类似日志形式的数据。不过，当需要对这些数据进一步处理时，如果还要先导入数据库，那么csv本身的便利性也就没有了。事实上，通过集算器，可以直接对csv文件进行处理，而且还可以进行一些“高级”操作，就像本文要介绍的比较两个csv文件的差异。...