- 博客(97)
- 收藏
- 关注
RSS订阅转载 SPL 简化 SQL 案例详解：行间计算
在数据库应用开发中，我们经常需要面对复杂的SQL计算，行间计算就是其中一种。比如：用每月的销售额除以上月的销售额，求比上期，或用每月销售额除以去年同月的销售额，求同期比。有些数据库系统没有提供SQL2003标准的窗口函数，或者支...
2019-08-28 17:06:15
240
转载 Java 如何远程调用 SPL 脚本
在《Java 如何调用 SPL 脚本》中我们介绍了在 Java 中可以部署集算器 JDBC 来调用本地 SPL 脚本，那如何能在 Java 中远程调用 SPL 脚本呢？这就是接下来要说的重点！实现思路通过下图一目了然...
2019-08-27 17:28:32
301
转载 SPL 简化 SQL 案例详解：计算各组前 N 行
取出各组的前N行数据是较常见的运算，比如：每个月每种产品销量最高的五天是哪五天，每位员工涨薪最多的一次是哪次，高尔夫会员成绩最差的三次是哪三次，等等。在SQL中，这类运算要用窗口函数以及keep/top/rownumber等高级...
2019-08-27 17:28:00
203
转载 Docker 用户操作使用说明
用户登录 Client 端1. 登录Client 端访问 Server 端，在集算器中，菜单工具－＞docker 登陆，登出。IP：对应多台...
2019-08-15 14:31:26
113
转载 Docker 管理员操作使用说明
1 模块一：Docker 和集算器结合1.1 Docker 和集算器结合概述将集算器的群集和 docker 结合可以进行高效的运算、合理的资源分配与管理。结合以后结构分成两部分： Se...
2019-08-15 14:26:31
139
转载 详谈转置 pivot
问题概要 在日常工作中时常会遇到将数据表的行列进行转换的问题。SQL 提供了静态转置的功能 pivot 和 unpivot，但适用范围很受限，要用 SQL 实现一些比较复杂的转置功能常常会遇到语句过于复...
2019-08-15 14:18:03
132
转载 轻量级高性能多维分析套件
什么是轻量级？抛开技术术语，从效果上看就是为了实现操作目的，使用更轻便、更省时的方法；那么什么是高性能呢？最直接的说法就是比常用方法更加高效、更快。下面就来介绍润乾提供的这一套轻量级、高性能的多维分析套件...
2019-08-07 21:22:00
169
转载 SPL 的序号思维及定位计算
SPL中的集合都是有序的，可以用序号来引用成员，灵活运用序号可以使运算更为简捷高效。1 成员访问SPL的某些函数中可以使用序号或序号数列作为参数，最简单的应用是直接用序号访问成员，这和...
2019-08-07 21:18:43
179
转载 SPL 的日期时间函数
在数据分析计算中，日期时间类数据是比较特殊的类型，这里我们就来研究一下如何在SPL中使用日期时间类数据。1日期时间数据的转换和生成日期时间类数据，通常会用字符串来输入或显示。在使用集算...
2019-08-07 14:17:09
210
转载 用集算器更新数据库的技巧
对数据库进行批量更新时，使用update函数要比execute函数性能更好。比如，source和target是两个不同的数据源，callrecordA是source中的物理表，有1万条记录，callrec...
2019-04-25 11:44:14
106
转载 趣味集算：数独
数独是一种老少皆宜的数学游戏，大家用零散的时间就可以玩上几局数独，有助于人们缓解压力，培养观察力和耐力，锻炼大脑。数独游戏的规则也很简单，只需一支铅笔就能游戏，如：...
2019-04-25 11:43:57
123
转载 性能优化技巧 - 查找
【摘要】日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据查询。点击：性能优化技巧 - 查询...
2019-04-25 10:32:02
118
转载 体系结构方案 - 大清单报表
【摘要】一般的报表工具或 BI 系统都是怎么实现大清单报表的呢？•数据全部读出，直接报表呈现•游标方式逐步读入呈现•使用数据库的分页机制按页读出传统模式实现问题：1）全...
2019-04-25 10:30:49
113
转载 性能优化技巧 - 多层排号键
排号键是SPL独特的数据类型，适合替代多层次、各层不连续的键值，比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快，常用于优化内存索引查询和外键关联计算。内存索引查询c...
2019-04-24 17:47:06
122
转载 性能优化技巧 - 集群维表
事实表和维表进行关联计算时，需要对维表进行频繁的随机访问，因此维表要尽量放在内存中，才能提高关联计算的性能。如果维表较大，单机内存放不下，就应该考虑用集群方式，将维表分段读入多台机器的内存。下面举例说明集群维表的用法。...
2019-04-24 17:42:44
91
转载 SQL 难点解决：循环计算
【摘要】SQL 虽然可以对集合中的记录进行循环计算, 但在循环计算过程中利用中间变量、同时计算多个值、前后记录访问、减少循环次数等方面差强人意。而集算器 SPL 则要直观许多，可以按自然思...
2019-04-14 22:02:12
329
转载 SQL 难点解决：特殊示例
【摘要】这一节我们对 SQL 和集算器 SPL 在序列值查找、分栏、动态行、动态列、指定序排序等方面进行了对比，如果需要了解更多，请前往乾学院：SQL 难点解决：特殊示例!...
2019-04-01 09:53:28
137
转载 SPL 排序优化技巧
【摘要】排序计算是一个非常消耗资源的操作，特别是对于大数据排序，如果内存无法装下数据，常规的做法就需要借助外存，不过因此也会增加对数据的读写操作，而读写操作通常又会比排序操作更消耗资源。...
2019-04-01 09:47:40
97
转载 esproc vs python 2 简单计算
1.添加Age、Fullname字段esproc： A4：我们用T表示序表。T.derive（）表示增加字段。这里用age(日期)计算出年龄，作为Age字...
2019-03-20 18:23:25
73
转载 esproc vs python 1 增删改查
1. 增加记录：在第二的位置增加一条记录esproc A4：添加一条记录（“:”前表示字段值，“:”后表示字段），其中2表示第二条记录的位置...
2019-03-20 18:15:12
78
转载 复杂 Excel 表格导入导出的最简方法
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用POI或者HSSFWorkbook...
2019-03-12 23:15:45
284
转载 大主子表关联的性能优化方法
【摘要】主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量较大时，关联计...
2019-03-04 13:20:49
318
转载 MongoDB 分组统计
【摘要】MongoDB 在进行分组统计时如果面对一些比较复杂的计算情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其有丰富的函数库及易用性恰好能弥补 Mongo 这...
2019-02-25 23:54:57
518
转载 Java 中如何使用 SQL 查询文本
【摘要】 使用 SQL 查询语言，你只能查询位于数据库里面的数据，但是当你面对的数据是一些 Excel 表格或者 Txt 文本格式时，有什么办法能直接对着文件进行 Select...
2019-02-25 23:47:22
124
转载 Java 搞定 SQL 集合运算的最简方法
问题介绍 作为 java 程序员，用代码直接实现类似 SQL 中的交并补差的集合运算，总是要编写大量的代码，如果能有一个专门的外部数据工具，通过写简单类似 SQL 的脚本来实现，在 java 中直接调用...
2019-02-25 23:40:49
195
转载 SQL 难点解决：集合及行号
【摘要】SQL 虽然有集合概念，但对于集合运算、特别是有序集合运算，提供的支持却很有限，经常要采用很费解的思路才能完成，计算效率也不佳。而集算器 SPL 在方面则要直观许多，可以按自然思维习惯写出运算。这里对...
2019-01-14 10:30:34
95
转载 批量随机键值查询测试
【摘要】当数据量巨大时，使用大批量随机键值集获取对应记录集合，不仅仅考验数据库软件本身，更在于程序员对数据的理解！如何在硬件资源有限的情况下将性能发挥到极致？点击：批量随机键值查询测试，来乾学...
2019-01-14 09:42:50
81
转载 简化 MongoDB 关联运算
【摘要】MongoDB提供的 lookup 对多表关联实现了基本的支持，但面对一些比较复杂的关联情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其离散性、...
2018-12-31 22:27:19
91
转载 数据脱敏的处理方法及查询
【摘要】关键词：集算器、SPL、数据脱敏、报表1）、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反...
2018-12-31 22:12:07
10852
转载 SQL 难点解决：序列生成
1、 生成连续整数序列MySQL8: with recursive t(n) as (select 1union allselect n+1 from t where ...
2018-12-17 14:41:32
82
转载 如何优化多数据集关联报表
多数据集关联报表是很常见的报表形式，它允许开发者分别从不同的来源（表或数据库）分别准备数据形成不同的数据集，在报表端（模板）通过表达式描述数据集间的关系完成关联。这样可以避免在数据准备时写过于复杂的 SQL/ 存储过程，降低...
2018-12-17 11:35:50
194
转载 实时报表 T+0 的实现方案
【摘要】基于数据库系统的 T+0 全量实时查询，在数据量很大时一般只能进行数据库扩容（包括分库手段），成本高昂；如果采用文件系统和生产数据库混合运算，就可以实现低成本高性能的 T+0 查询，而热导出机...
2018-12-17 10:55:08
147
转载 为什么会有这么多中间表？
中间表的由来中间表是数据库中专门存放中间计算结果的数据表。报表系统中的中间表是普遍存在的。那么，这些中间表是如何出现的？为什么中间表会越来越多？中间表会给项目组带来什么样的困扰，如...
2018-12-17 10:33:32
169
转载 玩转Mongo计算
MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo...
2018-12-10 22:29:54
157
转载 Java 嵌入 SPL 轻松实现数据分组
问题介绍要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算，是比较繁琐的，通常先要声明数据结构（Java 实体类），然后用 Java 集合进行循环遍历，最后根据分组条件添加到某...
2018-12-10 14:39:44
244
转载 10 行代码，实现手写数字识别
识别手写的阿拉伯数字，对于人类来说十分简单，但是对于程序来说还是有些复杂的。不过随着机器学习技术的普及，使用10几行代码，实现一个能够识别手写数字的程序，并不是一件难事。这是因为有太多的机器学习模型可...
2018-11-28 18:09:01
415
转载 实现报表的可控缓存
【摘要】使用缓存可以提升报表性能是不争的事实，一般高端报表工具都会提供报表缓存功能，可将整个报表计算结果缓存在文件系统中，以便用户下次访问相同参数的报表时可以快速读取缓存结果进行展现。但有些情况下报表...
2018-11-20 18:17:24
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人