Mondrian测试数据库footmart生成记

最新推荐文章于 2021-02-07 03:26:01 发布

教练_我要踢球

最新推荐文章于 2021-02-07 03:26:01 发布

阅读量3.4k

点赞数

分类专栏： OLAP 文章标签： OLAP mondrian ROLAP 数据库

本文链接：https://blog.csdn.net/yu616568/article/details/45370029

版权

本文介绍了如何使用Mondrian的MondrianFoodMartLoader.java程序生成FootMart OLAP测试数据库，包括下载mondrian源码、运行加载程序、设置参数等步骤。数据库包含多种表，如sales_fact_1997等，可用于数据分析和OLAP查询性能优化研究。当前面临的挑战是性能问题，预计算和缓存策略是提高查询效率的关键。

摘要由CSDN通过智能技术生成

现在要搞一些数据分析（OLAP）相关的数据，恰好mondrian提供了一个用于测试的footmart数据集，这个数据库主要记录了一些关于销售数据的事实表和维度表，内容很丰富，并且提供了foorMart.xml文件，这个文件定义了所有需要使用的cube的定义集合，但是我们现在用自己开发的系统定义cube，所以这个配置文件应该就用不上了，主要需要生成这个数据库的数据，首先将它放到mysql上吧，然后再将它通过sqoop导入到hive中，用我们的OLAP报表系统定义cube和报表执行查询，这一套流程走下来基本上能把OLAP查询的基本流程走通了，接下来的主要工作还是在如何优化多维查询的性能。

首先这个数据库数据的生成是通过程序执行得到的，首先我们需要下载mondrian的某个版本（根据官方文档），下载地址在http://sourceforge.net/projects/mondrian/，但是有个问题就是在3.8.0版本之后只能找到jar包了，不能够找到完整的那个zip包，所以我就舍弃了最新的版本，下载一个比较新的3.7.0版本的zip包（http://sourceforge.net/projects/mondrian/files/mondrian/mondrian-3.7.0/mondrian-3.7.0.0-752.zip，大小为119M），解压之后在testsrc/main/mondrian/test/loader目录下有一个MondrianFoodMartLoader.java文件，这个java程序就是为了生成测试数据的，当然测试数据都是存放在一个.sql文件里面，这个文件在demo目录下，文件名是FoodMartCreateData.zip，将它解压过之后，编译MondrianFoodMartLoader程序，然后运行如下命令：

-verbose -tables -data -indexes -jdbcDrivers=com.mysql.jdbc.Driver  -outputJdbcURL=jdbc:mysql://172.17.3.102:16666/foodmart  -outputJdbcUser=root -outputJdbcPassword=root -outputJdbcSchema=foodmart -outputJdbcBatchSize=50 -inputFile=C:\Users\Administrator\Desktop\FoodMartCreateData.sql

根据参数名可以看出参数的含义分别是：