2018年09月_qq_40600249

转载多维分析功能漫游

是不是还在为成千上万的数据处理不完而苦恼？是不是一想到要处理这些数据就头大？今天又要为整理这些枯燥的数据加班怎么办？——不要担心！不要担心！润乾来拯救你！DQL分组分析的神秘力量会协助你顺利完成数据的操作与分析，加班？不存在的！隔壁组的老王和老李都羡慕哭了。想知道这些问题怎么处理吗?点我吧...

2018-09-24 22:51:39 95

一、问题描述键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 logN（以 2 为底）次， 10 亿行数据也只要比较 30 次（10 亿约等于 2^30），在现代计算机上也只需要数十毫秒而已。不过，如果需要查询的键值很多，比如多达几千甚至几万的时候，如果每次都独立查找，那读取和比较也会累积到几...

2018-09-24 22:09:29 113

转载轻松应对多层JSON数据计算与入库

JSON作为一种轻量级的数据交换格式，因其易于读写和交互的特点，已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口，但是接下来如何把多层 JSON 数据经过筛选、计算并展开成二维数据，就需要开发人员去头疼了。本文就为大家分享一下如何利用集算器 SPL（结构化处理语言）轻松解决 JSON 数据解析入库的问题。JSON 数据文件导入与解析根据 JSON 数据文件...

2018-09-24 21:54:29 452

转载在工作中用到的比较好的用的BI工具

一、要不要报表工具？软件开发项目中，报表必不可少。用报表工具还是写代码实现报表，这是个问题。简单行列报表、中国式复杂报表，报表工具都能轻松实现。报表工具采用独立报表模板文件，不会和其他代码耦合。报表需求频繁改变，只需替换报表文件即可，不必重新打包、不必重启服务，可以实现不停机热切换。想用报表工具，但是又嫌价格太贵，怎么破？用润乾报表吧！具备顶级报表工具的功能，价格却低到谷底，即使是只用来做最...

2018-09-24 21:51:42 662

转载多行日志合并处理的内外存方法

上一讲中，我们介绍了如何用SPL将一行日志结构化为一条记录，今天则要说一下多行日志对应一条记录的情况，我们称之为不定行日志。事实上，集算器自己的输出日志就是这种不定行日志，我们来看一下集算器节点机下的一个日志文件rqlog. log，同样摘录两段日志：[2018-05-14 09:20:20]DEBUG: 临时文件过期时间为：12小时。[2018-05-14 09:20:20]DEBUG...

2018-09-24 21:47:16 476

转载跨库数据表的运算

简单合并（FROM）所谓跨库数据表，是指逻辑上同一张数据表被分别存储在不同数据库中。其原因有可能是因为数据量太大，放在一个数据库难以处理，也可能在业务上就需要将生产库和历史库分开。而不同的数据库，可能只是部署在不同的机器上的同种数据库，也可能是连类型都不同的数据库系统。在面对跨库数据表，特别是数据库类型都不相同的情况时，数据库自带的工具往往就力所不及了，一般都需要寻找能够很好地支持多数据源...

2018-09-24 21:43:13 210

转载优化Join运算的系列方法（1)

优化Join运算的系列方法（1）JOIN是关系数据库中常用运算，用于把多个表进行关联，关联条件一般是判断某个关联字段的值是否相等。随着关联表的增多或者关联条件越来越复杂，无论理解查询含义、实现查询语句，还是在查询的性能方面，可以说JOIN都是最具挑战的SQL运算，没有之一。特别是JOIN的性能，一直是个老大难问题。下面我们将基于数据计算中间件（DCM）——集算器，来提供一些提升运算性能的方法。...

2018-09-24 18:05:15 147

qq_40600249的博客