Raqsoft

【摘要】用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解多维分析后台实践 3：维度排序压缩实践目标本期目标，是在完成数据类型转化基础上，实现维度排序压缩，进一步提升计算速度。实践的步骤：1、 准备基础宽表：修改上期的代码，完成维度排序压缩存成新组表。2、 访问基础宽表：上期代码不必修改，直接应用于新组表。3、 新增数据追加：每日新增业务数据追加，每月重新排序重整。要尽可能不影响访问基础宽表的性能，同时减小每日新增数据所需要的时间。本期样例宽表不变，依然..

【摘要】用实例、分步骤，详细讲解多维分析（OLAP）的实现。点击了解多维分析后台实践 2：数据类型优化实践目标本期目标是练习将数据库读出的数据，尽可能转换为有利于性能优化的数据类型，例如：小整数和浮点数。实践的步骤：1、 准备基础宽表：修改上期的代码，完成数据类型优化存为组表文件。2、 访问基础宽表：修改上期的代码，在传入参数保持不变的前提下，查询数据转换之后的组表文件，结果集也要返回原有的数据显示值。对于这个要求，SQL 是无法实现传入参数和结果集的转换的，所以访问宽表的代码以.

【摘要】用实例、分步骤，详细讲解多维分析（OLAP）基础宽表的实现。点击了解多维分析后台实践 1：基础宽表实践目标本期目标是练习如何搭建多维分析后台的基础宽表，并通过 SPL 和 SQL 访问基础宽表。实践的步骤：1、 准备基础宽表：将基础宽表数据从数据库中取出，存成组表文件。2、 访问基础宽表：用 SPL 或者 SQL 语句访问。本期样例宽表为 customer 表。从 Oracle 数据库中取出宽表数据的 SQL 语句是 select * from customer。执行.

【摘要】有序运算是指按照一定的次序对有序集合的成员进行计算。SQL 和 SPL 是大家比较熟悉的程序语言，本文将探讨对于有序运算问题，这两种语言的解决方案和基本原理。如何简便快捷的处理有序运算，这里为你全程解析，并提供 SQL 和 SPL 示例代码。SQL 和 SPL 的有序运算对比使用过 SQL 或 SPL 的朋友对计算字段都不会陌生，比如 firstname+lastname，year(birthday)，这些计算字段属于行内计算。不管表达式里用到的是单个字段，还是多个字段，...

【摘要】多维分析（OLAP）中常见的枚举维度切片（过滤条件 in）和二值维度（是否型过滤条件）如何优化？点击了解枚举维度与二值维度切片的优化问题描述多维分析（OLAP）系统的汇总和切片，实际上是在计算分组汇总和条件过滤。切片过滤条件的情况多种多样，其中比较多的是枚举维度切片和二值维度切片。枚举维度切片是指过滤条件中的in计算，例如：D5 in (valueB,valueC)，也就是过滤条件字段在一个枚举范围内取值的情况。在实际应用中，“按照客户性别、员工部门、产品类型等切片”就属于枚举维.

【摘要】循环运算是指按照一定的次序对集合的成员进行计算。除了在循环中访问当前成员、对成员赋值等简单的计算，还有在循环中进行跨行计算、嵌套循环、迭代运算等复杂需求。如何简便快捷的处理循环运算，这里为你全程解析，并提供 esProc 示例代码。循环运算1. 循环比较每行记录判断文件是否相同循环判断，每次在序列最后添加新的成员。【例 1】 比较两个行数相同的文件中有多少行数据完全一致。文件部分数据如下：ID Predicted_Y Original_Y 10...

一、问题背景与适用场景通常分组计算都采用hash方案，即先计算分组字段的hash值，hash值相同的记录被分拣到一个小集合里，然后在这个小集合中遍历找分组字段值相同的聚合成一组。分组的复杂度(比较次数)，取决于hash函数的重码率。在hash空间比较小时，重码率就高，比较次数就会多，性能会受较大影响。为了提高性能，就需要分配较大的内存来存放 hash 表。另外，有些数据类型（长字串）的 hash 计算也比较慢，这也会影响性能。如果分组字段是有序的，在分组的时候，每条记录只与上一条记录比较，...

【摘要】集算器 SPL 集成了对 python 程序的调用，也提供对建模算法接口支持。具体开发要求、使用详细情况，请前往乾学院：SPL 中调用 Python 程序!集算器是强大的数据计算引擎，但目前对于机器学习算法的提供还不够丰富。而 python 中有许多此类算法。借助 YM 外部库，就可以让集算器 SPL 调用 python 写的代码，从而弥补这一不足。下面具体说明：1．SPL 与 python 环境配置2．python 模块开发规范要求3．ym_exe...

【摘要】集算器 SPL 支持抓取网页数据，根据抓取定义规则，可将网页数据下载到在本地进行统计分析。具体定义规则要求、使用详细情况，请前往乾学院：集算器 SPL 抓取网页数据!网站上的数据源是我们进行统计分析的重要信息源。当我们浏览网页，看到自己感兴趣数据内容时，希望能够快速抓取网页上的数据，这对于数据分析相关工作来说极其重要，也是必备的技能之一。但是网络数据抓取大多需要复杂的编程知识，操作也比较繁琐。这里介绍如何用集算器 SPL 快速抓取网页数据。1、基本流程图2...

【摘要】面对高并发账户记录查询问题，按照本文的介绍一步一步操作，就能有效提升性能。点击了解高并发账户记录查询问题描述高并发账户记录查询在银行、互联网企业、通信企业中广泛存在。例如：网上银行、手机银行、电商个人账户查询、互联网游戏账户等等。这类查询有三个共同点：1、 数据总量非常大。用户数量本身就非常多，再加上多年的账户数据，数据量可以达到几千万甚至上亿条。2、 访问人数众多。几百万甚至上千万人访问，属于高并发查询。3、 不能让用户等待。手机、网页要达到秒级响应，否则严重影响...

一、问题背景与适用场景什么是后半有序？如果数据集T已经按字段a、b有序，现在我们要将T按b排序或分组时，因为在a值相同的段内，b都是有序的，这种要排序或分组的字段在分段内有序的情况就称为后半有序。我们知道，快速排序算法的原理就是一种递归的分段排序再归并的算法，对于后半有序这样的已经大体有序的数组，快速排序的速度已经能够很快。所以如果采用快速排序算法对T按b排序后，就可以使用《性能优化技巧：有序分组》中介绍的优化原理进行分组了。SPL提供了后半有序分组方法，我们实例测试一下，并且与SPL和Or..

一、问题背景与适用场景在对数据集进行排序运算时，有时会遇到这样一种场景：数据集T已经按字段a有序，而字段b无序，现在我们要将T按a、b排序，我们称之为前半有序(a有序)的排序。此时我们能想到一种优化的排序方法：从T中先取出a值相同的一组记录，再这一组内对b排序。然后再依次取出下一组a值相同的记录，重复这个动作，直到完成T中所有记录的排序。这种方法的好处是不需要对T中所有记录进行大排序，一次只需取出一小组，对内存容量要求大大减低，只需能装下每个小组即可。遗憾的是SQL并不支持这种优化算法，只...

【摘要】字符串和日期时间都是基础数据类型。虽然说是基础，使用起来却经常给我们带来麻烦。SPL 提供了丰富而简洁的函数，可以轻松解决字符串和日期时间的难题。去乾学院看个究竟吧！字符串和日期时间的处理复制摘要一． 字符串1. 连接（1）两串相连（2）串与任意类型相连（3）序列成员相连（4）序表成员相连2. 拆分（1）拆分成字符序列（2）拆分成单词序列（3）用分隔符拆分...

将两个表或者多个表关联在一起是常见的运算，这时通常使用 SQL join 的方式进行关联并进行后续计算。但有时数据并不存储在数据库，而是以文件的形式存储在文件系统，单纯为了计算而把数据存储到数据库有点得不偿失。Python 的 Pandas 提供了丰富的关联运算函数，能更方便的完成文本文件间的关联计算，现在我们就一起来讨论下 Python 的关联处理。基础关联所谓关联是指两张数据表通过某个字段或者某些字段之间存在的某种关系，将两张表以某种条件关联起来。SQL 中的关联可以是等值 JOIN 也可以

【摘要】全量预汇总真的是提高 OLAP 性能的可行方案吗？点击了解OLAP 服务器，空间换时间可行吗？ 多维分析提供拖拽、旋转、切片、钻取等等人机交互操作，必须有秒级的响应速度。而这些操作对应的明细数据量非常巨大，如果在明细数据的基础上直接计算，速度会很慢，等待时间过长，是用户无法接受的。 图1：基于明细的OLAP响应时间过长为了保证秒级甚至毫秒级的响应速度，一些OLAP产品事先将几千万甚至上亿条明细数据计算成汇总数据，保存在硬盘上。这样，在分析...

Excel 中遇到较复杂的运算，数据分析师常会用 add-ins 辅助解决。本文考察了一些常见的 add-ins，从部署难度、开发难度、流畅程度等方面进行深度对比，并着重考察了数据计算能力，esProc 在这些 add-ins 中的表现相对出色。点击辅助 Excel 的数据计算 add-ins了解详情。对于大多数简单运算，Excel都提供了方便的实现手段，有时是易用的函数，有时是直观的按钮或菜单。但我们还是会遇到的一些较复杂或特殊的运算，依靠Excel本身很难实现。Excel提供了add-in接口.

什么是有序计算 使用过 SQL 的朋友对计算字段都不会陌生，比如 firstname+lastname，year(birthday)，这些计算字段属于行内计算，不管表达式里用到的是单个字段，还是多个字段，使用的数据都在当前记录行内。有行内计算，对应的也就有跨行计算，如：第一名和第二名的差距；从 1 月到当前月份累计的销售额。按照成绩有序，才会有第一名、第二名的说法，累计操作同样基于有序数据，从第几个累加到第几个，这些基于有序集合的计算，就属于有序计算。行内计算关心的是每条数据自身的情况，而跨...

【摘要】本文分析大文件计算的实现原理，如过滤、聚合计算、添加计算列、排序、分组聚合、topN 等，以及利用并行计算来提高计算速度，并用 esProc SPL 举例说明如何用简洁的脚本实现大文件计算。请点击大文件上的结构化数据计算示例了解详情在数据分析过程中，经常会处理文本文件中的结构化数据（txt，csv等），有时这些文件还会很大，计算机内存不足以一次性读入。这时，只能将数据分批读入内存，对每批数据计算出临时中间结果，分批处理完以后，再按照计算要求对分批处理结果进行恰当的汇总处理，与一次性装入内.

【摘要】本文介绍如何将各种结构的 Excel 文件解析成结构化数据，如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等，并用 esProc SPL 举例实现。请点击Excel 文件结构化解析示例了解详情在数据分析业务中，经常要把Excel文件数据结构化解析以后再进行计算或导入关系数据库，但许多Excel文件的格式并不规整，而且文件结构也多种多样，导致编程进行结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。本文将介绍如何进行各种格式的 Excel 文件结构.

【摘要】本文介绍如何将经各种渠道得来的结构化数据自动生成各种格式的 Excel 文件，如单纯导出数据、导出大量数据、指定显示属性、固定行列填充、动态条件显示属性、分组带明细及统计、交叉统计表等，并用 esProc SPL 举例实现。请点击生成各种格式的 Excel 文件示例了解详情在数据处理时，有时要把查询、分析计算、统计、数据采样等各种渠道得来的结构化数据，用程序自动生成各种格式的Excel文件。本文将分别针对单纯导出数据、导出大量数据、指定显示属性、固定行列填充、动态条件显示属性、分组带.

【摘要】本文介绍两个文本文件进行比对，按照需求找出文件中数据相同或不同时，会遇到的几种情况，并用 esProc SPL 举例实现。请点击文本文件比对示例了解详情在数据处理业务中，有时需要比较两个文本文件内容有哪些相同或不同的数据，本文将介绍文本文件比对的几种情况，如整行比对、关键列比对，同时又分小文件、大文件比对，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SPL 中有一套完善的集合运算领域的函数库，做文件比对很方便，写出的代码非常简洁。1....

【摘要】本文介绍小文件与大文件在进行数据去重时的几种处理办法，比如按整行或关键列去除重复数据或留下重复数据，并用 esProc SPL 举例实现。请点击文件数据去重示例了解详情在数据处理业务中，有时需要清除文件中的重复数据或只留下重复数据，本文将从小文件、大文件两方面介绍整行去重、关键列去重的几种处理办法，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SPL 中有一套完善的集合运算领域的函数库，很适合处理文件去重，写出的代码非常简洁。1. 小文...

Pandas 是 python 的一个数据分析包，是基于 NumPy 的一种数据分析工具，其中纳入了大量库和一些标准的数据模型，提供了快速便捷地处理数据的函数和方法，是高效地操作结构化数据集所需的工具，也是使 Python 成为强大而高效的数据分析环境的重要因素之一。但是相信经常使用 Pandas 的同学在处理结构化数据运算时也会遇到一些麻烦，这些问题要么使得问题解决很复杂（代码难写），要么使得运行极其缓慢（效率低下），下面总结整理了一些 Pandas 的困难问题进行吐槽，如有谬误欢迎指正，也欢迎大家参

SQL 的后计算脚本用于实现 SQL 不适合的某些复杂运算，本文从此类工具中精心挑选了三种，从开发效率、语法表达能力、结构化函数库等方面进行深度对比，考察了各脚本在集合计算、有序计算等重点运算上的表现，esProc 在这几款工具中的表现最为出色。点击SQL 的后计算脚本了解详情。大多数情况下，我们用SQL（存储过程）就可以完成数据库计算，但如果遇到SQL不擅长的某些复杂运算，就只能用其他程序语言把数据读出库外，然后在数据库外完成计算，这样的程序语言经常是以简单脚本的形式出现，我们在这里称为SQL的.

【摘要】本文介绍用 esProc SPL 实现合并资产负债表，包括不同时段合并和不同部门合并。请点击合并资产负债表了解详情在企业财务工作中，每个财务周期都要制作资产负债表，周期分为月度、季度、年度。季度报表可由月度报表合并得来，年度报表可由季度报表合并而来。有些大企业有许多部门，各部门也有资产负债表，总公司的资产负债表可由各部门的合并得来。如果由人工来进行这种合并工作，不仅烦琐，还易出错。如果使用程序自动完成这种工作就会既高效又正确。本文将介绍 esProc SPL 编写的资产负债表合并代码示例.

【摘要】本文介绍直接用 SQL 查询文件数据的各种情况，并用 esProc SPL 举例实现。请点击在文件上使用 SQL 查询的示例了解详情在数据分析业务中经常要处理数据文件。我们知道，对于数据库中的数据，使用SQL来查询是非常方便快捷的，所以很容易想到把文件数据先导入到数据库再用SQL来查询。但是文件数据导入数据库本身也是很繁琐的工作，那么有没有直接对数据文件使用SQL查询的办法呢？本文将介绍这样的办法，列举出用 SQL 查询文件数据的各种情况，并提供用 esProc SPL 编写的代码示例。.

【摘要】选出是指在集合中，根据指定条件获取成员。选出与定位计算很相似，不过定位关心的是成员在集合中的位置，而选出关心的是成员记录的详细信息。比如选出入职超过 10 年的员工收入，查询销售额超过一万的客户名称等等。如何简单快捷的实现选出？这里将为你全程剖析，并提供 esProc SPL 示例代码。 结构化数据上的选出运算1. 选出符合条件的成员【例 1】 分栏列出欧洲和非洲人口超 200 万的城市名称及人口（每栏按从多到少排序）。世界城市人口表部分数据如下：Continent ...

一、 问题描述键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 O(log2N)， 10 亿行数据大概只要比较 30 几次（10 亿约等于 2^30），在现代计算机上是个毫秒级别的事务。不过，如果需要查询的键值很多，比如多达几千甚至几万的时候，如果每次都独立查找，那读取和比较也会累积到几万甚至几十万次，时间延迟由此也会涨到几十秒甚至几十分钟的级别，简单地使用数据库索引对于用户体验必然是难以容忍的..

【摘要】在分组时经常会要求结果集必须按基准集合的次序出现，这种对齐分组在日常统计中是很常见的。我们还能把对齐分组推广成更一般的枚举分组。如何简便快捷的处理对齐分组，这里为你全程解析，并提供 esProc 示例代码。按指定基准对齐的分组运算对照一个基准集合，将待分组集合成员的某个字段或表达式与基准集合成员比较，相同者则分到同一个组中，最后拆分出来的组数和基准集合成员数是相同的。这种分组我们称为对齐分组。对齐分组可能会有空组，也可能有成员未分配到任何一个组中。1. 普通对齐分组...

【摘要】聚合运算是指对数据进行计算，返回聚合结果。聚合运算经常伴随着分组运算，除了常见的求和、最大值、最小值、计数等聚合运算，还有一些逻辑运算等等。如何简便快捷的处理聚合问题，这里为你全程解析，并提供 esProc 示例代码。非常规聚合问题举例1. 枚举分组后聚合求和【例 1】 从城市 GDP 表中，分别统计直辖市、一线城市和二线城市的人均 GDP。城市 GDP 表部分数据如下：ID City GDP Population 1 Shanghai...

【摘要】从数据表中选出数据时，有时候需要判断成员在某些条件下是否存在，这些条件可能是从其他的数据表中查询的。例如分数是成绩表的字段，怎样从学生表中选出各科分数都高于 80 分的学生？如何简便快捷的处理结构化数据中的存在判断问题，这里为你全程解析，并提供 esProc 示例代码。结构化数据中的存在判断问题1. 外键映射的存在性检测在两个表中，根据外键映射的存在性查找记录。【例 1】 统计一班男生的平均分。成绩表和学生表如下：【解题思路】从分数表选出数据时，判断是否存在班...

【摘要】从数据表中选出数据时，有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息，从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题，这里为你全程解析，并提供 esProc 示例代码。结构化数据中的从属判断问题1. 集合包含性检测在一个表中，根据集合的包含性判断查找记录。【例 1】 在员工表中，统计一线城市各部门的平均工资。部分数据如下：ID NAME CITY SALARY 1 Reb...

时间序列数据的计算脚本须具备较强的有序计算能力，本文从此类工具中精心挑选了三种，从开发效率、语法表达能力、结构化函数库等方面进行深度对比，考察了各脚本在序号计算、相对位置计算、有序集合计算等重点运算上的表现，esProc 在这几款工具中的表现最为出色。点击适合时间序列数据的计算脚本了解详情。时间序列数据在这里指按时间排序的日常业务数据。对时间序列数据进行计算时，不仅涉及季度、月份、工作日、周末等常规计算，还经常遇到较为复杂的有序运算，这就要求脚本语言应具备相应的计算能力。一般用于处理时间序列数据的.

【摘要】在数据计算时，除了每条记录本身，经常也会关心有序集合中与位置相关的计算。例如：编号为 752084 的订单在销售表中的第几行？2019 年上证指数收盘价最高的是第几个交易日？如何简单快捷的实现定位？这里将为你全程剖析，并提供 esProc SPL 示例代码。有序集合上的定位计算1. 定位成员定位成员是指在有序集合中通过比较成员来查找位置。【例 1】 下面任课教师表中，第一列是教师姓名，第二列是学科，后面是课程代码（null 表示空）。任课教师表部分数据如下：Teachers...

esProc 的 SQL 功能支持文件计算、性能优化等独特功能，本文将总结桌面 IDE、命令行等不同环境下 SQL 的用法，以及常用文件格式、特殊分隔符等多种应用方案，详情点击esProc 的 SQL 应用方案因为支持文件计算、性能优化等独特功能，esProc的SQL功能深受大家喜爱，为了大家更方便地使用，下面将总结SQL的各类应用方案。基本用法SQL的基本数据源为文本文件和Excel。文本文件有两种常见的分隔符，制表符分隔的文件一般以txt为扩展名，逗号分隔的文件通常以csv为扩展名，e.

【摘要】从数据表中选出数据时，有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息，从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题，这里为你全程解析，并提供 esProc 示例代码。结构化数据中的从属判断问题1. 集合包含性检测在一个表中，根据集合的包含性判断查找记录。【例 1】 在员工表中，统计一线城市各部门的平均工资。部分数据如下：ID NAME CITY SALARY 1 Reb...

【摘要】序号访问是指通过序号（索引下标）来访问有序集合的成员。序号访问除了按单个序号访问集合成员，还有按多个序号同时取多个成员的需求。除此以外，还有用倒数的序号访问成员，按固定跨度访问成员等等。如何简单快捷的实现这些序号访问需求？这里将为你全程剖析，并提供 esProc SPL 示例代码。结构化数据上用序号访问成员的问题1. 单序号访问我们可以按照单个序号，从数据表中获取一条记录。【例 1】 求 2019 年上证指数第一个交易日和最后一个交易日的交易信息。部分数据如下：Dat...

【摘要】两个有序集合之间可能进行一一对应的计算，比如两个集合如何比较大小，怎样判断集合是否相等？如何简便快捷的处理集合间的对位运算，这里为你全程解析，并提供 esProc 示例代码。有序集合间的对位运算有序集合间的对位运算，包括比较运算（>,<, 等于）和四则运算（+,-,*,/,%,\）。本问中讨论的集合，都是有序集合，有序集合的成员是有次序的。有序集合间的对位运算，会按照顺序使用对位成员进行比较或者四则运算。1. 比较两个集合的大小集合可以使用符号 ">"...

遇到 Excel 难以实现的复杂或特殊运算时，可先用剪贴板将数据复制到 esProc，利用 esProc 强大的计算能力完成，这种方式比 add-ins 有更多优点，详细场景和代码解析请点击esProc 利用剪贴板强化 Excel 计算遇到Excel难以实现的复杂或特殊运算时，可先用剪贴板将数据复制到esProc，利用esProc强大的计算能力完成，再用剪贴板返回Excel。剪贴板方式比传统的add-ins方式部署更简单，操作更顺滑，开发时不影响剪贴板正常使用，且支持多个源片区和结果片区。基本.

SPL 实现自动建模和预测.pdf