- 博客(154)
- 收藏
- 关注
RSS订阅转载 体系结构方案 - 临时性数据计算
【摘要】日常数据处理中经常会发生一些临时数据计算需求。这种临时性计算具有相当的普遍性。那么，我们是用什么方法来处理这种具有普遍性的临时计算需求呢？去乾学院看个究竟吧！ 体系结构方案 - 临时性数据计算临时性数据计算【附件下载：】体系结构方案 - 临时性数据计算.pdf...
2019-08-27 11:36:00
141
转载 创新边缘计算引擎
引言边缘计算是随着物联网的发展而新兴起来的全新数据技术架构，由于业务需求和技术要求较以往有很大不同，本身也还在发展中，传统的技术框架和编程模式不再完全适用，很多企业在开发实施过程中遇到了很多挑战。本文介绍了一个全新的边缘计算引擎，为解决这些问题挑战开拓了一个新的思路。方案介绍...
2019-08-27 11:23:00
173
转载 高性能离线跑批方案
【摘要】随着数据量的不断增长和业务复杂度的不断增加，数据仓库跑批任务量越来越繁重，耗时越来越长。众多项目出现了整晚都算不完、跑不完的情况。造成如此困境的原因是什么？如何破局？点击数据仓库跑批提速方案，去乾学院看看集算器如何从根本上解决数据仓库跑批太慢的问题!相关方案下载：数...
2019-08-27 11:20:00
447
转载 SQL 难点解决：循环计算
【摘要】SQL 虽然可以对集合中的记录进行循环计算, 但在循环计算过程中利用中间变量、同时计算多个值、前后记录访问、减少循环次数等方面差强人意。而集算器 SPL 则要直观许多，可以按自然思维习惯写出运算。这里对 SQL 和集算器 SPL 在循环计算方面进行了对比，如果需要了解...
2019-08-27 11:03:00
289
转载 SPL组表进一步优化 JOIN 性能
【摘要】介绍了如何使用集算器的组表进一步优化 JOIN 运算的方法。SPL 组表进一步优化 JOIN 性能上一篇《优化 Join 运算的系列方法》介绍了如何使用集算器优化JOIN性能，其中数据存储使用的是集文件。如果想进一步提升性能，可以使用组表代替集文件。1 组表特点相对于集文件，组...
2019-08-27 11:00:00
168
转载 Docker 用户操作使用说明
用户登录 Client 端1. 登录Client 端访问 Server 端，在集算器中，菜单工具－＞docker 登陆，登出。IP：对应多台物理机时，IP 为入口物理机 IP端口：配置 Docker_server 时标签对应的端口号用户名和密码：要求和 IP 对应2．Client...
2019-08-27 10:00:00
83
转载 Docker 管理员操作使用说明
1 模块一：Docker 和集算器结合1.1 Docker 和集算器结合概述将集算器的群集和 docker 结合可以进行高效的运算、合理的资源分配与管理。结合以后结构分成两部分： Server 端和 Client 端； Docker Server 端目前只能在 Linux 中使用。1.2...
2019-08-27 09:57:00
212
转载 详谈转置 pivot
问题概要 在日常工作中时常会遇到将数据表的行列进行转换的问题。SQL 提供了静态转置的功能 pivot 和 unpivot，但适用范围很受限，要用 SQL 实现一些比较复杂的转置功能常常会遇到语句过于复杂的问题，而且缺少一个标准的解决思路。而集算器的 SPL 语言，则因其语法的灵活和函数库...
2019-08-09 14:06:00
259
转载 轻量级高性能多维分析套件
什么是轻量级？抛开技术术语，从效果上看就是为了实现操作目的，使用更轻便、更省时的方法；那么什么是高性能呢？最直接的说法就是比常用方法更加高效、更快。下面就来介绍润乾提供的这一套轻量级、高性能的多维分析套件。轻量级的准确含义，是相对于重量级框架而言的一种程序设计模式。轻量级的优点在于对容器没...
2019-08-09 14:02:00
89
转载 SPL 的序号思维及定位计算
SPL中的集合都是有序的，可以用序号来引用成员，灵活运用序号可以使运算更为简捷高效。1 成员访问SPL的某些函数中可以使用序号或序号数列作为参数，最简单的应用是直接用序号访问成员，这和一般编程语言中的数组类似。A2与A3从序列中获取指定位置的成员，位置序号是从1开始的，结果如下：...
2019-08-09 13:49:00
182
转载 集算器性能优化场景
【摘要】遇到这些场景，慢的让人崩溃？集算器为您加速！点击集算器性能优化场景获得极速体验！本文预计阅读时间 3 分钟。点击下载方案 PDF 文件 转载于:https...
2019-08-07 17:44:00
86
转载 SPL 的日期时间函数
在数据分析计算中，日期时间类数据是比较特殊的类型，这里我们就来研究一下如何在SPL中使用日期时间类数据。1日期时间数据的转换和生成日期时间类数据，通常会用字符串来输入或显示。在使用集算器时，可以点击Tool>Option，在选项配置的Environment页面中，设定日期时间类型数据...
2019-08-07 17:15:00
272
转载 实现 MongoDB 连接运算
【摘要】早期的 Mongodb 版本没有 $lookup 接口来实现连接运算，或使用 $lookup 来实现连接运算比较麻烦时，集算器 SPL 语言实现了对多个文档不同类型的连接运算，对 Mongodb 提供了便利的技术。若想了解更多，请前往乾学院：实现 MongoDB 连接运算!多表关联...
2019-08-07 17:08:00
142
转载 微服务快速开发案例
【摘要】鉴于热更新、松耦合、语言无关等特性，微服务已广泛应用于互联网行业。但也带来了新问题：框架更复杂、开发周期更长、维护更困难。点击《微服务快速开发案例》，去乾学院看看集算器如何解决矛盾，大幅提高微服务的开发效率! 本文是真实案例，预计阅读时间 3 分钟。 ...
2019-08-07 17:03:00
295
转载 解决 Jasper 等报表工具制作报表中的几个难题
在制作业务报表时，经常会遇到一些单独依靠报表工具难以解决的问题。本文将针对几个 Jasper 报表工具用户在国外论坛中提出的现实问题，介绍如何用集算器 SPL 语言加以解决的方案。这里的解决方案其实并不仅适用于 Jasper，对其它报表工具也同样适用。1. 计算账户各期余额数...
2019-07-23 17:21:00
146
转载 SPL 简化 SQL 案例详解：分组关联
在数据库应用开发中，我们经常需要面对复杂的SQL式计算，比如多层分组中的关联计算。在SQL中，分组必须同时进行汇总计算，并且不能进行对象式关联访问，因此处理这类问题会比较复杂，只能用窗口函数嵌套多层子查询这类高级技巧来实现。而本文要介绍的SPL能够支持真正的分组，进行直观的对象式关联访问，从而...
2019-07-23 17:19:00
193
转载 mongodb 分组 topN
【摘要】MongoDB 对于 TopN 功能的需求使用其 shell 脚本来实现有些复杂，而集算器 SPL 语言，则因其离散性、灵活性恰好能弥补 MongoDB 实现方面的不足。若想了解更多，请前往乾学院：mongodb 分组 topN!在统计应用项目中，我们经常会遇到这样的需求：将大量的...
2019-07-23 17:15:00
217
转载 SPL 简化 SQL 案例详解：多级关联
在数据库应用开发中，我们经常需要面对复杂的SQL式计算，多级关联就是其中一种。SQL的join语句比较抽象，只适合表达简单的关联关系，一旦关联的层级较多，相应的代码就会变得非常复杂。而SPL则可以利用对象引用来表达关联关系，从而使代码更加直观，下面就用一个例子来加以说明。表channel存储...
2019-07-23 17:09:00
266
转载 SPL 分组优化技巧
1. 常规分组当分组聚合的结果集不大时，可以使用groups。例如有学生成绩表存储在集文件中，表结构如下：现在计算每个学生的总分数：A1：成绩表的数据装入内存。A2：按照studentID字段分组，计算总分。如果成绩表数据太大，无法装入内存，则可以用游标方式：A1：...
2019-07-23 16:57:00
157
转载 解决 Birt 等报表工具制作报表的几个难题
在上一篇《Birt 如何实现不规则月份统计》中，我们讲解了如何帮助 Birt 制作这种报表的详细过程，在本文中我们再继续讨论几个类似的制作难题，并把说明集中在如何编写集算器 SPL 脚本上，不再赘述如何在 Birt 中引入 SPL 的步骤了。1. 组内跨行计算组内跨行计算是指...
2019-07-23 16:47:00
253
转载 比较 csv 文件中数据差异
csv文件存储数据时在结构上基本和一个数据库表相当，不过因为读写方便，所以使用频率很高，例如输出一些临时结果，或者持续记录类似日志形式的数据。不过，当需要对这些数据进一步处理时，如果还要先导入数据库，那么csv本身的便利性也就没有了。事实上，通过集算器，可以直接对csv文件进行处理，而且还可...
2019-07-23 16:11:00
866
转载 SPL 的集合思维
和传统的程序设计语言不同，SPL中集合的应用非常普遍，实际上最常见的序列和序表等本质上都是集合，可以对它们进行真正的集合运算，从而大幅度提高开发效率和代码性能。因此，在使用SPL时，需要特别重视对集合概念的理解。1 SPL中的序列与集合SPL中，序列如同整数、字符串一样是非常常用的基本数据...
2019-07-05 17:50:00
126
转载 Birt 如何实现不规则月份统计
业务报表中，常常需要基于时间段进行分组统计，特别是按月份分组统计。一般情况如果按自然月就简单了，但有时候也会需要按不规则月份来分组。例如，某企业从 1 月 16 日开始实行某种特殊的价格策略或营销活动，因此以后都想以每月 16 号为界来统计产品销售情况。这里所谓不规则月份就是指： 如果起始时间...
2019-07-05 17:48:00
68
转载 提效报表开发的通用工具
报表是很多 web 应用系统不可缺少的模块，仍然是绝大多数 BI 项目的基础功能。随着数据时代的到来，数据来源越来越多样 (text,excel,monogdb,redis,es…)，为报表数据准备带来了挑战，传统做法还是先将库外数据到数据库里，再利用数据库的计算能力（写 SQL 或存储过程）...
2019-07-05 15:17:00
101
转载 SAP 系统大数据量资产负债表的性能优化案例
【摘要】有了固定报表工具之后，这类格式复杂、指标参数任意组合的需求并不难实现，只是原始数据量一大，查询就会非常慢，用户体验变的极差，当多并发请求时，甚至还会对正常业务产生影响！而集算器面对这类问题，却是一把好刀！赶快去乾学院看个究竟吧！SAP系统大数据量资产负债表的性能优化案例...
2019-07-05 14:39:00
176
转载 集算器多维分析服务器方案
【摘要】随着数据量的增加，用普通数据库作为多维分析服务器的响应速度越来越差，用户等待时间越来越长。如果采用预汇总方案提速，又需要巨大的存储空间而且存在很多功能盲区。点击 集算器多维分析服务器方案，去乾学院看看集算器多维分析服务方案如何解决这些问题！预计阅读时间 5 分钟。...
2019-07-05 14:36:00
74
转载 高性能数据仓库
【摘要】作为高性能计算数据仓库，SPL Server 可以在离线跑批、在线查询、多维分析和内存计算 4 个方面提供高效的计算输出，帮助用户解决由于性能带来的这些问题：1. 半夜跑批跑不完，出错了来不及再来；2. 看个报表等 10 分钟，业务人员拍桌子；3. 关联统计运算慢，界面拖拽迟钝...
2019-07-05 14:30:00
106
转载 从 TPCH 测试看 SPL 性能优化技巧 1
测试环境说明CPU：4颗，主频2.6G，每个CPU内核数8个。硬盘：800G，15000转SAS硬盘，理论读写速度150m/s。内存：64G。操作系统：Linux cent os 6SQL1 select l_returnflag, ...
2019-07-05 14:20:00
155
转载 性能优化技巧 - 遍历
【摘要】数据分析场景中，充斥着聚合运算，常见的有求和、计数、均值、最大最小值等等，想要得到正确的结果值，遍历技术必不可少，如何更加高效地对数据进行遍历？点击：性能优化技巧 - 遍历，来乾学院一探究竟！1. 存储方案集文件是行存方式，组表有行存和列存两种方式。两种格式都有一定压缩效果。首...
2019-06-14 15:09:00
253
转载 集算器实现外部数据并行计算
文本并行SPL可将文本文件按体积大致分为N段，只读取其中一段。比如cardInfo.txt存储着一千万条人口信息，将其分为十份，取第二份，代码可以写作：按体积大致分段，而不是按行数精确分段，目的是提高分段性能。比如在IDE中观察A2或A3的前几个字段，可以看到行数并非精确的100万（与具...
2019-06-14 15:02:00
113
转载 用集算器更新数据库的技巧
对数据库进行批量更新时，使用update函数要比execute函数性能更好。比如，source和target是两个不同的数据源，callrecordA是source中的物理表，有1万条记录，callrecordB是target中的物理表，无记录，现在需要将callrecordA中的数据同步到...
2019-06-14 14:57:00
56
转载 利用集算器实现分库汇总
当单台数据库的数据量太大而影响性能时，可以把数据拆分到多台服务器上，每台服务器只承担部分计算压力，再由SPL合并计算结果。特殊地，数据可拆分为历史数据库和当前实时数据库，由SPL实现T+0计算。下面用几个典型例子来说明分库汇总的用法。过滤订单表orders分库存储在两个Oracle数据库中...
2019-06-14 14:54:00
82
转载 SPL 简化 SQL 案例详解：多层固定分组
在数据库应用开发中，我们经常需要面对各种复杂的SQL计算，多层固定分组就是其中一种。实现该算法的思路是用left join语句将源数据按照固定的依据对齐，但由于该算法往往涉及分组汇总、行间计算、填补缺失数据，而且层次较多，因此相应的SQL语句会非常复杂。本文将介绍一种相对简单易懂的方法，也就...
2019-06-14 14:45:00
111
转载 esproc vs python 6
本节在数据量比较大的情况下，对比esproc和python。数据量：7000多条万记录，5个字段分别是orderid，clientid，sellerid，amount，date。总大小超过3G。1. 筛选8月份的交易记录esprocA2：f.cursor()根据文件f创建游标并返回...
2019-06-14 14:38:00
79
转载 新一代内存计算引擎
【摘要】内存计算的本质就是为了高性能 (包括一定的高并发)，以此应对实时查询等问题！当前技术手段要么太贵、要么体系沉重；而集算器不仅算的更快，且体积更小、更轻！同时具备高度的集成性与灵活性！赶快去乾学院看个究竟吧！新一代内存计算引擎【下载附件】新一代内存计算引擎 ...
2019-06-14 14:29:00
83
转载 SPL 代码优化技巧
SPL是一种面向结构化数据计算的程序设计语言，集算器是SPL语言的java实现，采用网格式编程形式提供了编码和调试的IDE环境，语法比Java和SQL更为简单易懂，开发效率更高。本文将从集算器的实现原理出发列举一些可以提升计算性能的小技巧。1数据类型1.1 数值SPL里的...
2019-05-13 16:58:00
193
转载 esproc vs python 5
1. 列出分期贷款明细题目介绍：loan 表存储着贷款信息，包括贷款 ID，贷款总额、按月分期数、年利率。数据如下：我们的目的是列出各期明细，包括：当期还款额、当期利息、当期本金、剩余本金。esprocA3：T.derive()新增两列月利率mRate=年利率/12,每期还款数mP...
2019-05-13 16:55:00
116
转载 性能优化技巧 - 查找
【摘要】日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据查询。点击：性能优化技巧 - 查询，来乾学院一探究竟！SPL为用户提供了强大的索引机制以及针对不同场景中各对象的查询函数，善加运用，...
2019-05-13 16:46:00
88
转载 海量账户大并发实时查询解决方案
【摘要】手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是：访问人数特别多，全量数据超大，而且不能让用户等待！点击海量账户大并发实时查询解决方案，去乾学院看看在大并发海量账户查询场景中，如何用集算器实现秒级的查询速度!...
2019-04-28 16:56:00
180
转载 性能优化技巧 - 组表数据更新
组表是集算器提供的高性能存储格式，其原理在于将数据事先排序并以压缩方式紧致存储，好处是占用空间更小，可利用有序进行快速定位。但这种存储方式在数据更新时会遇到麻烦，这是因为新数据也要和历史数据一起排序并压缩，常常会要求重写整个组表，重写操作非常耗时，但又不得不做。不过，有些场景下却有高性能的...
2019-04-28 16:12:00
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人