用计算路由的方法优化 BI 后台性能

润乾软件

于 2018-08-29 10:45:45 发布

阅读量237

点赞数

分类专栏：技巧特色

本文链接：https://blog.csdn.net/raqsoft/article/details/82179684

版权

本文介绍了BI后台性能优化的问题，提出了使用计算路由来减轻数据仓库压力。通过集算器作为数据前置层，实现了三层结构的BI系统，提升了数据计算速度和响应时间。集算器不仅可以缓存热点数据，还具备可编程数据路由、SQL解析与翻译、性能优化等功能。文中详细阐述了解决方案，包括应用服务器集成计算、独立节点服务器计算和集算器组表计算，并提供了性能调优技巧。集算器的先进数据存储方式和集群功能确保了高并发和大数据量计算的高效性，适用于多种数据分析场景。

摘要由CSDN通过智能技术生成

问题的提出

BI系统的常见结构是：前端是BI应用，负责多维分析的用户操作和结果呈现；后台是数据库/数据仓库，负责数据计算和存储。前端和后台之间用SQL作为接口。

实际应用中，常常出现后台数据仓库压力过重的问题。问题表现为前端响应时间过长，数据仓库反应速度变慢。

常见的解决方案是在数据仓库和应用之间再增加一个前置数据库。但是前置数据库和后台数据仓库之间很难实现数据的路由和混合计算，例如：访问频次很高的热点数据放在前置数据库，大量冷数据放在数据仓库中，查询时按照一定规则来决定访问前置数据库还是后台数据仓库。而如果前置数据库和后台数据仓库是不同的产品，还要考虑SQL的翻译问题。

解决思路与过程

作为数据计算中间件（DCM），构建独立的数据前置层是集算器的重要应用模式。数据前置层将BI系统重构为三层结构：数据存储及批量数据计算层由数据库承担；数据前置及缓存层由集算器承担；数据分析展现层由多维分析工具或者报表工具承担。

集算器可以脱离数据库进行数据缓存和独立的复杂计算，同时具备可编程网关机制，可以在缓存计算和SQL透传之间自由切换。利用集算器完成前置层数据计算，可以与数据库承担的批量数据计算任务分离，并且不必再建设另外一个数据库。

集算器可以将热点数据、近期数据放在数据前置层，从而起到数据缓存的作用，可以有效提高数据计算的速度，减少用户等待时间。

系统架构图如下：

案例场景说明

前台BI系统，要针对订单数据做自助查询。查询的必选条件是订购日期。为了简化起见，前台BI系统用tomcat服务器中的jdbc.jsp来模拟。

集算器JDBC和智能网关集成在应用系统中。jdbc.jsp模仿BI应用系统，产生符合集算器简单查询规范的SQL，通过集算器JDBC提交给集算器智能网关处理。

数据来自于ORACLE数据库demo中的ORDERS表。ORDERS订单表是全量数据，集算器只存储最近三年的数据，比如：2015年-2018年。日期以订购日期为准。

基础数据准备与提取缓存数据

用下面的orders.sql文件在ORACLE数据库中完成ORDERS表的建表和数据初始化。

点击下载orders.sql

在集算器中，新建一个数据源orcl，连接ORACLE数据库。用SPL语言脚本etl1.dfx将最近三年的数据预先读取到集算器集文件orders.btx中。SPL脚本如下：

	A	B
1	=year(now())-3
2	=connect(“orcl”)	=A2.cursor@d(“select * from orders where to_char(orderdate,’yyyy’)>=?”,A1)
3	=file(“C:/tomcat6/webapps/gateway/WEB-INF/data/orders.btx”)
4	=A3.export@z(B2)	>A2.close()