自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 协助 mongodb 计算之数位比较

【摘要】 编写数位比较这类集合式运算,用 Mongodb 脚本或 Java 等高级语言来实现都比较麻烦,但可以利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:协助 mongodb 计算之数位比较! Mongodb脚本解决复杂问题的计算能力有限,直接使用时较为吃力。很多情...

2020-05-21 10:34:44 14 0

原创 协助 MongoDB 计算之交叉汇总

【摘要】 交叉汇总作为数据统计的一种分类统计计算,用 MongoDB 实现比较困难,但可以利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:协助 MongoDB 计算之交叉汇总! 交叉汇总是数据统计中一种实用的分类统计计算。交叉汇总分析,又称列联表分析,是通过分析两个或两...

2020-05-21 10:31:01 14 0

原创 性能优化技巧:TopN

TopN是常见的运算,用SQL写出来是这样(以Oracle为例): select * from (select * from T order by x desc) where rownum<=N 这个SQL的运算逻辑从其语句上看,要先做排序(Order by),然后再取出前N条...

2020-05-21 10:25:28 16 0

原创 性能优化技巧:遍历复用提速多次分组

我们知道,大数据运算性能的瓶颈常常是在外存(也就是硬盘)IO上,因为外存访问性能要比内存低一两个数量级。因此,做性能优化时,减少硬盘的访问量有时要比减少CPU计算量更为重要。同一个任务,如果能使用硬盘访问量更少的算法,即使CPU计算量不变甚至略多一点,也会获得更好的性能。 分组汇总需要对数据集进...

2020-05-21 10:15:29 62 0

原创 协助报表开发之 MongoDB join mysql

集算器 SPL 语言支持处理多样性数据源,通过 SPL 对 MongoDB 集合与 MySql 表进行 join 关联,不仅简化了对 MongoDB 数据的操作,而且有利于与其它报表工具的方便集成。若想了解更多,请前往乾学院:协助报表开发之 MongoDB join mysql! 处理多样...

2020-05-21 10:13:03 29 0

原创 协助报表开发之 MongoDB join

【摘要】 集算器 SPL 语言支持多样性数据源,通过 SPL 对 MongoDB 多个集合进行 join 关联,不仅简化了对 MongoDB 数据的操作,而且有利于与其它报表工具的方便集成。若想了解更多,请前往乾学院:协助报表开发之 MongoDB join! 处理多样性数据源是报表开发中...

2020-05-21 10:04:56 30 0

原创 将 MongoDB 导出成 csv

【摘要】 将 Mongodb 数据结构转换成结构化的数据需求,我们可利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:将 MongoDB 导出成 csv! 来源:https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw ...

2020-05-21 09:58:49 31 0

原创 从 TPCH 测试学习性能优化技巧之 Q22

一、 查询要求 Q22语句查询获得消费者可能购买的地理分布。本查询计算在指定的国家,比平均水平更持肯定态度但还没下七年订单的消费者数量。能反应出普通消费者的态度,即购买意向。 Q22语句的特点是:带有分组、排序、聚集、子查询、NOT EXISTS子查询操作并存的两表连接操作。 二...

2020-05-21 09:54:56 13 0

原创 从 TPCH 测试学习性能优化技巧之 Q21

一、 查询要求 Q21语句查询获得不能及时交货的供货商。 Q21语句的特点是:带有分组、排序、聚集、EXISTS子查询、NOT EXISTS子查询操作并存的四表连接操作。查询语句没有从语法上限制返回多少条元组,但是TPC-H标准规定,查询结果只返回前100行(通常依赖于应用程序实现)。 ...

2020-05-21 09:53:47 17 0

原创 从 TPCH 测试学习性能优化技巧之 Q20

一、 查询要求 Q20语句查询确定在某一年内,找出指定国家的能对某一零件商品提供更有竞争力价格的供货商。所谓更有竞争力的供货商,是指那些零件有过剩的供货商,超过供货商在某一年中货运给定国的某一零件的50%则为过剩。 Q20语句的特点是:带有排序、聚集、IN子查询、普通子查询操作并存的两表连...

2020-05-21 09:50:33 20 0

原创 从 TPCH 测试学习性能优化技巧之 Q19

一、 查询要求 Q19语句查询得到对一些空运或人工运输零件三个不同种类的所有订单的总折扣收入。零件的选择考虑特定品牌、包装和尺寸范围。 Q19语句的特点是:带有聚集、IN子查询操作并存的三表连接操作。 二、 Oracle执行 Oracle编写的查询SQL语句如下: sel...

2020-04-28 10:36:43 44 0

原创 从 TPCH 测试学习性能优化技巧之 Q18

一、 查询要求 Q18语句查询获得比指定供货量大的供货商信息。可用于决定在订单量大,任务紧急时,验证是否有充足的供货商。 Q18语句的特点是:带有分组、排序、聚集、IN子查询操作并存的三表连接操作。查询语句没有从语法上限制返回多少条元组,但是TPC-H标准规定,查询结果只返回前100行(通...

2020-04-28 10:34:30 33 0

原创 从 TPCH 测试学习性能优化技巧之 Q17

一、 查询要求 Q17语句查询获得比平均供货量的百分之二十还低的小批量订单。对于指定品牌和指定包装类型的零件,决定在一个七年数据库的所有订单中这些订单零件的平均项目数量(过去的和未决的)。如果这些零件中少于平均数20%的订单不再被接纳,那平均一年会损失多少呢?所以此查询可用于计算出如果没有小...

2020-04-28 10:30:32 27 0

原创 从 TPCH 测试学习性能优化技巧之 Q16

一、 查询要求 Q16语句查询获得能够以指定的贡献条件供应零件的供货商数量。可用于决定在订单量大,任务紧急时,是否有充足的供货商。 Q16语句的特点是:带有分组、排序、聚集、去重、NOT IN子查询操作并存的两表连接操作。 二、 Oracle执行 Oracle编写的查询SQ...

2020-04-28 10:29:17 35 0

原创 从 TPCH 测试学习性能优化技巧之 Q15

一、 查询要求 Q15语句查询获得某段时间内为总收入贡献最多的供货商(排名第一)的信息。可用以决定对哪些头等供货商给予奖励、给予更多订单、给予特别认证、给予鼓舞等激励。 Q15语句的特点是:带有分组、排序、聚集、聚集子查询操作并存的普通表与视图的连接操作。 二、 Oracle执行...

2020-04-28 10:24:55 23 0

原创 从 TPCH 测试学习性能优化技巧之 Q14

一、 查询要求 Q14语句查询获得某一个月的收入中有多大的百分比是来自促销零件。用以监视促销带来的市场反应。 Q14语句的特点是:带有聚集、连接操作的简单查询。 二、 Oracle执行 Oracle编写的查询SQL语句如下: select /*+ parallel(n) ...

2020-04-28 10:21:48 16 0

原创 从 TPCH 测试学习性能优化技巧之 Q13

一、 查询要求 Q13语句查询获得消费者的订单数量,包括过去和现在都没有订单记录的消费者。 Q13语句的特点是:带有分组、排序、聚集、子查询、左外连接操作并存的查询操作。 二、 Oracle执行 Oracle编写的查询SQL语句如下: select /*+ paralle...

2020-04-28 10:18:38 18 0

原创 从 TPCH 测试学习性能优化技巧之 Q12

一、 查询要求 Q12语句查询获得货运模式和订单优先级。可以帮助决策:选择便宜的货运模式是否会导致消费者更多的在合同日期之后收到货物,而对紧急优先命令产生负面影响。 Q12语句的特点是:带有分组、排序、聚集操作并存的两表连接查询操作。 二、 Oracle执行 Oracle编...

2020-04-28 10:15:44 23 0

原创 从 TPCH 测试学习性能优化技巧之 Q11

一、 查询要求 Q11语句是查询库存中某个国家供应的零件的价值。 Q11语句的特点是:带有分组、排序、聚集、子查询操作并存的多表连接查询操作。子查询位于分组操作的HAVING条件中。 二、 Oracle执行 Oracle编写的查询SQL语句如下: select /*+ p...

2020-04-28 10:12:46 25 0

原创 从 TPCH 测试学习性能优化技巧之 Q10

一、 查询要求 Q10语句是查询每个国家在某时刻起的三个月内货运存在问题的客户和造成的损失。 Q10语句的特点是:带有分组、排序、聚集操作并存的多表连接查询操作。查询语句没有从语法上限制返回多少条元组,但是TPC-H标准规定,查询结果只返回前10行(通常依赖于应用程序实现)。 二...

2020-04-28 10:07:20 19 0

原创 从 TPCH 测试学习性能优化技巧之 Q9

一、 查询要求 Q9语句是查询每个国家每一年所有被定购的零件在一年中的总利润。 Q9语句的特点是:带有分组、排序、聚集、子查询操作并存的查询操作。子查询的父层查询不存在其他查询对象,是格式相对简单的子查询,但子查询自身是多表连接的查询。子查询中使用了LIKE操作符,有的查询优化器不支持对L...

2020-04-09 16:03:46 15 0

原创 从 TPCH 测试学习性能优化技巧之 Q8

一、 查询要求 Q8语句是查询在过去的两年中一个给定零件类型在某国某地区市场份额的变化情况。 Q8语句的特点是:带有分组、排序、聚集、子查询操作并存的查询操作。子查询的父层查询不存在其他查询对象,是格式相对简单的子查询,但子查询自身是多表连接的查询。 二、 Oracle执行 ...

2020-04-09 16:01:05 5 0

原创 从 TPCH 测试学习性能优化技巧之 Q7

一、 查询要求 Q7语句是查询从供货商国家与销售商品的国家之间通过销售获利情况的查询。此查询确定在两国之间货运商品的量用以帮助重新谈判货运合同。 Q7语句的特点是:带有分组、排序、聚集、子查询操作并存的多表查询操作。子查询的父层查询不存在其他查询对象,是格式相对简单的子查询。 二...

2020-04-09 16:00:06 7 0

原创 从 TPCH 测试学习性能优化技巧之 Q6

一、 查询要求 Q6语句查询得到某一年中通过变换折扣带来的增量收入。这是典型的"what-if"判断,用来寻找增加收入的途径。预测收入变化查询考虑了指定的一年中折扣在"DISCOUNT-0.01"和"DISCOUNT+0.01 "之...

2020-04-09 15:57:19 12 0

原创 从 TPCH 测试学习性能优化技巧之 Q5

一、 查询要求 Q5语句查询得到通过某个地区零件供货商而获得的收入(收入按sum(l_extendedprice * (1 -l_discount))计算)统计信息。可用于决定在给定的区域是否需要建立一个当地分配中心。 Q5语句的特点是:带有分组、排序、聚集操作并存的多表连接查询操作。 ...

2020-04-09 15:53:32 18 0

原创 从 TPCH 测试学习性能优化技巧之 Q4

一、 查询要求 Q4语句查询得到订单优先级统计值。计算给定的某三个月的订单的数量,在每个订单中至少有一行由顾客在它的提交日期之后收到。 Q4语句的特点是:带有分组、排序、聚集操作、子查询并存的单表查询操作。子查询是相关子查询。 二、 Oracle执行 Oracle编写的查询...

2020-04-09 15:50:05 8 0

原创 从 TPCH 测试学习性能优化技巧之 Q3

一、 查询要求 Q3语句查询得到收入在前10位的尚未运送的订单。在指定的日期之前还没有运送的订单中具有最大收入的订单的运送优先级(订单按照收入的降序排序)和潜在的收入(潜在的收入为l_extendedprice * (1-l_discount)的和)。 Q3语句的特点是:带有分组、排序、聚...

2020-04-09 15:47:30 9 0

原创 从 TPCH 测试学习性能优化技巧之 Q2

一、 查询要求 Q2语句查询获得最小代价的供货商。得到给定的区域内,对于指定的零件(某一类型和大小的零件),哪个供应商能以最低的价格供应它,就可以选择哪个供应商来订货。 Q2语句的特点是:带有排序、聚集操作、子查询并存的多表查询操作。查询语句没有从语法上限制返回多少条元组,TPC-H标准规...

2020-04-09 15:45:31 9 0

原创 从 TPCH 测试学习性能优化技巧之 Q1

一、 查询要求 Q1语句查询lineItem的一个定价总结报告。在单个表lineitem上查询某个时间段内,对已经付款的、已经运送的等各类商品进行统计,包括业务量的计费、发货、折扣、税、平均价格等信息。 Q1语句的特点是:带有分组、排序、聚集操作并存的单表查询操作。这个查询会导致表上的数据...

2020-04-09 15:36:33 10 0

原创 从 TPCH 测试学习性能优化技巧

一、 目标 TPCH是由TPC(Transaction Processing Performance Council)事务处理性能委员会公布的一套针对数据库决策支持能力的测试基准,通过模拟数据库中与业务相关的复杂查询考察数据库的综合处理能力,获取数据库操作的响应时间。 TPCH基准模型中定...

2020-04-09 15:16:36 65 0

原创 集算器技术应用汇总

更新于 20191216 降费提速 A. 高性能在线计算 B. 高性能离线跑批 C. 高性能多维分析 省时提效 D. 报表数据源 E. Java 计算 F. 数据整理 G. 中台应用 H.数据微服务 I.边缘计算 舍我其谁 J. 跨库计算 K. 多...

2020-02-14 16:41:30 98 0

原创 管理驾驶舱后台内存数据库解决方案

【摘要】 管理驾驶舱是领导专用利器,岂能怠慢!内存数据库一体机可以提供秒级响应速度,可是成本太高!!点击管理驾驶舱后台内存数据库解决方案了解集算器高性价比方案! 本文预计阅读时间 3 分钟。 本方案下载 ...

2020-02-14 16:37:59 55 0

原创 计算 mongodb 之数组查下标

数据库 Mongodb 不能通过元素值来查询下标,在数组中实现排名次序,但可以利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:计算 mongodb 之数组查下标! 排名在各行各业都比较流行,大到世界大学排名、福布斯富豪榜,小到班级学生成绩排名、银行按号排队办理业务等等。在数字...

2019-12-06 12:20:40 76 0

原创 Java 计算辅助神器

概述 应用结构 减轻代码量 多样性数据源 热切换 文件计算 常规计算 使用SQL 大文本 分段并行 Excel 数据库 并行取数 困难计算 批量查找 数据库切换 库外存储过程 多数据库混算 ...

2019-12-06 12:15:24 44 0

原创 高性能在线计算方案

【摘要】 太慢!太慢!多维分析、自助分析、管理驾驶舱、报表、手机 APP 或者查询太慢,被用户 diss?集算器为您加速!点击高性能在线计算方案获得极速体验! 本文预计阅读时间 6 分钟。 点击下载方案 PDF 文件...

2019-12-06 12:04:52 58 0

原创 集算器行业案例

1. 金融 A. 产权交易所统一数据集市案例 【案例领域】数据集市 【案例说明】传统数据集市是利用 ETL 工具将数据封装成目标结构导入前置数据库,按需建模导致需求变化适应性差、实时性差。集算器构建统一数据计算层,与应用相结合,用计算适应需求变化,实时跨源计算,数据持久化到文件,高效且低成本。 ...

2019-12-06 12:02:16 33 0

原创 全国产计算数据库及应用

【摘要】全国产数据库面临软硬件强依赖国外技术的尴尬,硬件缺芯(90% 以上的高端芯片依赖进口),软件缺新(依赖国外的理论、模型,甚至代码)。如何让基于国产硬件运行的国产数据库性能达到甚至超越国外数据库的性能?本文告诉你。 ...

2019-12-06 11:58:02 38 0

原创 高效率数据计算中间件(DCM)

【摘要】 高效率数据计算中间件(Data Computing Middleware,简称:DCM)可以为应用提供数据计算服务,从而实现数据计算高效开发、高效运行、应用解耦;DCM 可用于以下场景: 01 报表 &BI 数据源 02 库外存储过程 03 实时多源混算 04 ETL 复杂计算 ...

2019-12-06 11:46:48 34 0

原创 通信服务业报表中台案例

【下载附件】通信服务业报表中台案例

2019-11-04 17:40:06 45 0

原创 协助 MongoDB 计算之本地化排序

软件本地化,可让用户根据自己的语言环境、使用习惯来选择不同的语言版本,从而最大限度提高使用体验。随着软件技术的进步,本地化能力得到广泛支持、不断向前发展,也成为软件成熟的重要标志。本文讨论的MongoDB本地化排序之路也是从无到有,一点点积累向前发展的。先前版本只能按照UNICODE编码排序,而不...

2019-11-04 17:35:29 20 0

提示
确定要删除当前文章?
取消 删除