数据计算
文章平均质量分 75
Alice_656
这个作者很懒,什么都没留下…
展开
-
让Birt报表脚本数据源变得既简单又强大
可阅读原文:http://c.raqsoft.com.cn/article/1537155188168?r=alice应用场景:报表数据准备应用结构集成后,集算器嵌入报表应用层,相当于本地的逻辑数据库(不需要单独服务器部署),在报表与数据源间作为报表数据准备层,完成各种复杂的计算任务。概述:运行在 JVM 上的 SQL 函数和存储过程总所周知,有些数据库没有强大的分析函数(...转载 2018-11-29 14:11:01 · 394 阅读 · 0 评论 -
超大数据下大批量随机键值的查询优化方案
可阅读原文: http://c.raqsoft.com.cn/article/1536544293689?r=alice一、问题描述键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 logN(以 2 为底)次, 10 亿行数据也只要比较 30 次(10 亿约等于 2^30),在现代计算机上...转载 2018-11-29 18:40:15 · 179 阅读 · 0 评论 -
数据计算中间件技术综述
可阅读原文:http://c.raqsoft.com.cn/article/1537237515333?r=alice## 传统企业大数据架构的问题 上图是大家都很熟悉的基于 Hadoop 体系的开源大数据架构图。在这个架构中,大致可以分成三层。最下一层是数据采集,通常会采用 kafka 或者 Flume 将 web 日志通过消息队列传送到存储层或者计算层。对于数据存储,目前 Apa...转载 2018-11-27 11:40:45 · 279 阅读 · 0 评论 -
基于文件系统实现可追加的数据集市
可阅读原文:http://c.raqsoft.com.cn/article/1538189724921?r=alice一 问题背景绝大多数的应用系统中,一开始数据的存储和计算基本都是由数据库来完成的,同时服务于业务交易和报表查询;不过在经过几年信息化建设和数据积累后,常常都会遇到数据库压力变大,从而导致性能瓶颈的问题。究其原因,往往发现针对历史数据查询的报表在其中占了很大比重。进一步分...转载 2018-11-28 14:15:27 · 197 阅读 · 0 评论 -
轻量级可嵌入多维分析后台
可阅读原文:http://c.raqsoft.com.cn/article/1534408099533?r=alice问题的提出多维分析(BI)系统后台数据源通常有三种选择。一、普通数据库;二、专业数据仓库;三、BI 系统自带的数据源。但是,这三种选择都有各自的问题。普通数据库一般都是行式存储,很难获得多维分析希望的高性能,只适用较小数据量。专业数据仓库有不少是列式存储的,性能问题不大...转载 2018-12-13 16:10:43 · 190 阅读 · 0 评论 -
跨库多维分析后台的实现
可阅读原文:http://c.raqsoft.com.cn/article/1535601728534?r=alice问题的提出 多维分析(BI)系统后台数据常常可能来自多个数据库,这时就会出现跨库取数计算的问题。例如:从性能和成本考虑,往往会限制生产库的容量,同时将历史数据分库存放,由ETL定期把生产库中新产生的数据同步到历史库中,同步周期根据数据的生成量,可能是...转载 2018-12-13 16:15:43 · 298 阅读 · 0 评论 -
协助 MySQL 实现 Oracle 高级分析函数
阅读原文:http://c.raqsoft.com.cn/article/1535964014661?r=aliceOracle 支持一些独特的语法和函数,在移植到 MySQL 上时或多或少给程序员造成了困扰,下面我们针对 Oracle 的一些特殊用法举例并讲解如何用集算器来完成同样功能。这些方法当然也不限于针对 MySQL,对于所有其它数据库也能支持。1、 递归语句a...转载 2018-12-06 18:16:35 · 191 阅读 · 0 评论